Redis 日志收集系统高可用搭建

为了搭建日志收集系统LEK,需要搭建一套Redis高可用集群,确保日志正常从各个应用服务器流转到ElasticSeach服务器,最终通过Kabana显示出来。Redis高可用集群采用redis自带的sentinel实现,具有主备和故障转移功能。

一、安装环境说明

两台机器:master(192.168.2.52),slave(192.168.2.53)
操作系统:CentOS 6.5
Redis:2.8.17,下载地址:http://download.redis.io/releases/redis-2.8.17.tar.gz

二、安装Redis

  • 安装前准备

    1、安装c++编译器
    yum install gcc-c++

    2、安装依赖tcl
    yum install -y tcl

  • 安装

    1、下载
    wget http://download.redis.io/releases/redis-2.8.17.tar.gz

    2、解压
    tar -zxvf redis-2.8.17.tar.gz

    3、安装
    先创建一个软链接,然后进入链接目录,安装。

    ln -s redis-2.8.17 redis
    cd redis
    make install

    安装完成之后,在/usr/local/bin目录下会出现redis相关的脚本文件(不包含redis-sentinel.sh)。如下图所示:


  • 配置

    1、创建相关目录

    redis配置需要指定日志文件、进程id文件、数据文件和数据文件目录,下面创建这些相关目录,以便在下一步进行配置。

    mkdir /var/redis
    cd /var/redis
    mkdir log #存放日志
    mkdir run #存放redis进程文件
    mkdir data #存放备份数据

    此外,还需要创建一个存放配置文件的目录,将redis链接目录中的redis.conf文件拷贝过来。

    mkdir /etc/redis
    cp YOURPATH/redis/redis.conf /etc/redis/

    2、配置文件

    通常需要修改一下配置:

    daemonize yes
    pidfile "/var/redis/run/redis.pid"
    logfile "/var/redis/log/redis.log"
    dir "/var/redis/data" #这个可以自己定义大小
  • 测试

    启动redis服务 redis-server /etc/redis/redis.conf
    执行简单的存取操作,如果成功,则表示redis服务正常。如下图所示


  • 复制安装
    按照上述步骤,在slave机器上安装好redis服务,redis主备和高可用至少需要两台机器。

三、Redis主备

  • 前提
    master和slave两台机器均已完成Redis安装,且服务可以正常运转。

  • 主备配置
    redis的主备配置比较简单,只需要在从服务的配置文件中指明主服务地址和端口号即可。即修改slave上的redis配置文件:
    slaveof 192.168.2.52 6379

  • 测试
    依次重启redis master,redis slave,在master和slave分别执行如下命令,可以查看主备信息。

    #在master上执行
    redis-cli -h 192.168.2.52 -p 6379 info Replication
    
    #在slave上执行
    redis-cli -h 192.168.2.53 -p 6379 info Replication

    此外还可以进行存取测试,在master上执行set操作,在slave上执行get操作,如果value相等,则证明主备功能正常。因为默认 slave是只读,所以当在slave上执行set操作时,将报错:(error) ERR wrong number of arguments for 'set' command

四、Redis高可用

redis高可用的实现采用redis-sentinel,自Redis2.8版开始,正式提名为Sentinel主从切换方案。Sentinel用于管理多个Redis服务器实例,主要负责3个方面的任务:

  • 监控(Monitoring):Sentinel会不断检测你的主服务器和从服务器是否正常运作

  • 提醒(Notification):当被监控的某个Redis服务器出现问题时,Sentinel可以通过API向管理员或者其他应用程序发送通知

  • 自动故障转移(Automatic Failover):当一个主服务器不能正常工作时, Sentinel 会开始一次自动故障迁移操作, 它会将失效主服务器的其中一个从服务器升级为新的主服务器, 并让失效主服务器的其他从服务器改为复制新的主服务器; 当客户端试图连接失效的主服务器时, 集群也会向客户端返回新主服务器的地址, 使得集群可以使用新主服务器代替失效服务器。

Redis Sentinel 是一个分布式系统, 你可以在一个架构中运行多个 Sentinel 进程(progress), 这些进程使用流言协议(gossip protocols)来接收关于主服务器是否下线的信息, 并使用投票协议(agreement protocols)来决定是否执行自动故障迁移, 以及选择哪个从服务器作为新的主服务器。

  1. Redis-sentinel配置

拷贝sentinel的脚本至/usr/local/bin目录 cp src/redis-sentinel /usr/local/bin;

拷贝配置文件sentinel.conf至/etc/redis目录cp sentinel.conf /etc/redis,修改配置文件:

port 26379

# master1
sentinel monitor master1 192.168.2.52 6379 1
sentinel down-after-milliseconds master1 5000
sentinel failover-timeout master1 900000
sentinel parallel-syncs master1 1
  1. 集群测试

启动redis-sentinel服务redis-sentinel /etc/redis/sentinel.conf --sentinel;

执行检测命令redis-cli -h 192.168.2.52 -p 26379 info Sentinel,结果如下,master为192.168.2.52


现在停止52上redis服务redis-cli -h 192.168.2.52 -p 6379 shutdown,再执行检测命令如下,master变成了192.168.2.53


五、总结

本文主要介绍了如何使用redis-sentinel搭建redis高可用集群,理论结合实际演示了集群实现的效果,主备和故障转移。

转至:http://my.oschina.net/xiaohui249/blog/338517

参考文章

1.使用logstash+elasticsearch+kibana快速搭建日志平台

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页