您的位置 首页 php

基于腾讯云上自建高可用Redis实践

智云科技发布于 2022年11月17日评论(2)阅读(234)

一、环境说明：

1.软件版本：

目前企业生产环境用的主流版本还是3.x，这里我就以redis 3.2.8稳定版来做搭建环境。

2.基本环境：

使用三台腾讯云VM，每台VM上开启一个redis-server和redis-sentinel服务，redis-server端口为6379， redis -sentinel的端口为26379。我这里用默认端口，生产环境中可以修改默认端口。

基于腾讯云上自建高可用Redis实践

二、几种redis高可用方案说明：

1.一般的主从复制方案：

由于redis目前只支持主从复制备份（不支持主主复制），当主redis挂了，从redis只能提供读服务，无法提供写服务。所以，还得想办法，当主redis挂了，让从redis升级成为主redis。

优点：

（1）实现了对master数据的备份，一旦master出现故障，slave节点可以提升为新的master，顶替旧的master继续提供服务；

（2）实现读扩展。使用主从复制架构， 一般都是为了实现读扩展。Master主要实现写功能， Slave实现读的功能。

缺点：

（1）一旦主节点宕机，从节点晋升成主节点，同时需要修改应用方的主节点地址，还需要命令所有从节点去复制新的主节点，整个过程需要人工干预；

此时需要经过如下操作(假设提升Slave1为Master):

  • 在Slave1上执slaveof no one命令提升Slave1为新的Master节点。
  • 在Slave1上配置为可写，这是因为大多数情况下，都将slave配置只读。
  • 告诉Client端(也就是连接Redis的程序)新的Master节点的连接地址。
  • 配置Slave2从新的Master进行数据复制。

（2）主节点的写能力受到单机的限制；

（3）主节点的存储能力受到单机的限制。

2.官方sentinel方案：

客户端程序（如PHP程序）连接redis时需要ip和port，但redis-server进行故障转移时，主redis是变化的，所以ip地址也是变化的。客户端程序如何感知当前主redis的ip地址和端口呢？redis-sentinel提供了接口，请求任何一个sentinel，发送SENTINEL get-master-addr-by-name <master name>就能得到当前主redis的ip和port。

优点：

redis sentinel带有自动故障转移功能（failover），当一个主redis不能提供服务时，redis sentinel可以将一个从redis升级为主redis，并对其他从redis进行配置，让它们使用新的主redis进行复制备份。

缺点：

客户端每次连接redis前，先向sentinel发送请求，获得主redis的ip和port，然后用返回的ip和port连接redis。每次操作redis至少需要发送两次连接请求，第一次请求sentinel，第二次请求redis。

3.VIP方案：

VIP方案是redis系统对外始终是同一ip地址，当redis主从进行故障转移时，需要做的是将VIP从之前的redis服务器漂移到现在新的主redis服务器上。

比如：当前redis系统中主redis的ip地址是172.16.2.4，那么VIP（172.16.2.250）指向172.16.2.4，客户端程序用VIP（172.16.2.250）地址连接redis，实际上连接的就是当前主redis，这样就避免了向sentinel发送请求。

优点：

当主redis宕机，进行故障转移时，192.168.56.102这台服务器上的redis提升为主，这时VIP（172.16.2.4）指向192.168.56.102，这样客户端程序不需要修改任何代码，连接的是192.168.56.102这台主redis。

注意：

VIP方案对配置环境有一定的要求，比如在腾讯云上要想搭建redis VIP方案的话，需要申请腾讯云HAVIP作为VIP，注意自己在内网私自定义的VIP是不生效的，申请HAVIP的文档详见：

基于腾讯云上自建高可用Redis实践

腾讯云控制台申请高可用虚拟IP

三、安装部署：

方案一：官网sentinel高可用方案

1.下载地址：，下载redis 3.2.8版本并编译安装： 

$ wget  
$ tar -zxvf redis-3.2.8.tar.gz 
$ cd redis-3.2.8 
$ make （如果没有安装 gcc 会报错，所以强烈建议在make之前先yum install gcc先安装gcc）

make报错如下：（make是用来编译的，从Makefile中读取指令，安装到指定的位置） 

make[3]: gcc: Command not found
make[3]: *** [net.o] Error 127
make[3]: Leaving directory `/opt/redis-3.2.8/deps/hiredis'
make[2]: *** [hiredis] Error 2
make[2]: Leaving directory `/opt/redis-3.2.8/deps'
make[1]: [persist-settings] Error 2 (ignored)
 CC adlist.o
/bin/sh: cc: command not found
make[1]: *** [adlist.o] Error 127
make[1]: Leaving directory `/opt/redis-3.2.8/src'
make: *** [all] Error 2

安装gcc： 

yum install gcc

继续编译： 

make

Make报错如下： 

make[1]: Entering directory `/opt/redis-3.2.8/src'
 CC adlist.o
In file included from adlist.c:34:0:
zmalloc.h:50:31: fatal error: jemalloc/jemalloc.h: No such file or directory
#include <jemalloc/jemalloc.h>
 ^
compilation terminated.
make[1]: *** [adlist.o] Error 1
make[1]: Leaving directory `/opt/redis-3.2.8/src'
make: *** [all] Error 2

重新编译： 

make MALLOC=libc

编译成功！！！

2.环境配置：

（1）make完后 redis-3.2.8目录下会出现编译后的redis服务程序redis-server，还有用于测试的客户端程序redis-cli，两个程序位于安装目录 src 目录下：

复制redis相关命令到/usr/sbin目录下，这样就可以直接执行这些命令，不用写全路径。 

$ cd src
$ cp redis-cli redis-server redis-sentinel /usr/sbin/
$ cd src 
$ ./redis-server

（2）在redis目录下有redis.conf和sentinel.conf配置文件示例，将两个配置文件复制到/etc目录下（当然也可以在/etc/目录新建配置文件），然后修改配置文件。 

$ cp redis.conf sentinel.conf /etc/

（3）redis.conf 是一个默认的配置文件。我们可以根据需要修改配置文件。

  • 修改主redis-server（172.16.2.4）配置文件内容如下： 

# 不修改，使用默认端口port 6379 
# 修改为0.0.0.0，可以从外部连接redis服务端 bind 0.0.0.0
# 默认情况下redis运行在保护模式（这种模式下，访问不需要密码），但是这种模式只允许本地回路访问，这里改为noprotected-mode no
# 默认情况下，redis不是在后台模式运行的，如果需要在后台进程运行，把该项的值更改为yes，默认为no daemonize yes# redis服务以后台进程运行的时候，Redis默认会把pid写入/ var /run/redis.pid文件组pidfile /var/run/redis.pid 
# 开启AOF持久化，默认是关闭的，RDB默认是开启的，但是AOF的优先级更高，启动时Redis 会优先载入 AOF 文件来恢复数据，与 RDB 相比，AOF 的实时性更好，因此已成为主流的持久化方案 
# 如果不希望丢掉任何一条数据的话就该用纯累加模式：一旦开启这个模式，Redis会把每次写入的数据在接收后都写入 appendonly.aof 文件。 appendonly yes
  • 修改从redis-server（172.16.2.2和172.16.2.15）配置文件内容如下： 

# 不修改，使用默认端口port 6379 
# 修改为0.0.0.0，可以从外部连接redis服务端 bind 0.0.0.0
# 默认情况下redis运行在保护模式（这种模式下，访问不需要密码），但是这种模式只允许本地回路访问，这里改为noprotected-mode no
# 默认情况下，redis不是在后台模式运行的，如果需要在后台进程运行，把该项的值更改为yes，默认为no daemonize yes# redis服务以后台进程运行的时候，Redis默认会把pid写入/var/run/redis.pid文件组pidfile /var/run/redis.pid 
# 开启AOF持久化，默认是关闭的，RDB默认是开启的，但是AOF的优先级更高，启动时Redis 会优先载入 AOF 文件来恢复数据，与 RDB 相比，AOF 的实时性更好，因此已成为主流的持久化方案 
# 如果不希望丢掉任何一条数据的话就该用纯累加模式：一旦开启这个模式，Redis会把每次写入的数据在接收后都写入 appendonly.aof 文件。 appendonly yes# 从redis比主redis多这一行，使用slaveof实现主从复制 
slaveof 172.16.2.4 6379
  • redis要求的，kernel参数修改，重启生效 

vim /etc/sysctl.conf
vm.overcommit_memory = 1
net.core.somaxconn = 511

（4）启动redis-server服务： 

$ redis-server & #加上‘&’号使redis以后台程序方式运行或
$ redis-server /etc/redis.conf #通过指定配置文件启动，在生产环境中建议使用这种方式启动服务

（5）停止：

使用客户端方式： 

$ redis-cli shutdown

因为Redis可以妥善处理SIGTERM信号，所以直接kill -9也是可以的 

$ kill -9 PID

（6）启动redis服务进程后，就可以使用测试客户端程序redis-cli和redis服务交互了，连接redis-server： 

# 本地连接redis-server，如果要连接远程redis，redis-cli -h host -p port -a password$ redis-cli 
redis> set key1 value1 OK 
redis> get key1 "value1"

（7）查看主从状态：

通过redis-cli 进入主redis命令行，执行info replication查看当前主从配置，可以发现两个从节点信息，表明redis-server主从已经配置完毕。 

redis> INFO replication

基于腾讯云上自建高可用Redis实践

查看redis主从关系已经建立

  • 可能遇到的问题：redis主从起不来
  • 解决方案：查看系统是否有之前配置过的redis.conf的旧文件，rm -rf删除之后，用redis-server指定配置文件重新启动服务

（8）搭建redis-sentinel系统：

redis-sentinel程序上面已经安装过了，这里只需要修改配置文件就可以了。修改/etc/sentinel.conf如下：

  • 三台sentinel服务器配置都一致 

# 当前Sentinel服务运行的端口port 26379
# 监控的master的名字叫做mymaster（自定义）,地址为172.16.2.4:6379，行尾最后的一个2代表在sentinel集群中，多少个sentinel认为masters死了，才能真正认为该master不可用了 
sentinel monitor mymaster 172.16.2.4 6379 2 
# 每个Sentinel节点都要定期PING命令来判断Redis数据节点和其余Sentinel节点是否可达，如果超过30秒且没有回复，则判定不可达 
sentinel down-after-milliseconds mymaster 30000 
# 当Sentinel节点集合对主节点故障判定达成一致时，Sentinel领导者节点会做故障转移操作，选出新的主节点，原来的从节点会向新的主节点发起复制操作，限制每次向新的主节点发起复制操作的从节点个数为1，在从Redis实例较多的情况下这个数字越小，同步的时间越长，完成故障转移所需的时间就越长 sentinel parallel-syncs mymaster 1 
# failover过期时间，当failover开始后，在此时间内仍然没有触发任何failover操作，当前sentinel将会认为此次failover失败。默认180秒，即3分钟。sentinel failover-timeout mymaster 18000 
# 如果Sentinel监控的主节点配置了密码，可以通过sentinel auth-pass配置通过添加主节点的密码，防止Sentinel节点无法对主节点进行监控。
# 例如：sentinel auth-pass mymaster MySUPER--secret-0123passw0rdsentinel auth-pass   
# 在故障转移期间，当一些警告级别的Sentinel事件发生（指重要事件，如主观下线，客观下线等）时，会触发对应路径的脚本，想脚本发送相应的事件参数。
# 例如：sentinel notification-script mymaster /var/redis/notify.shsentinel notification-script   
# 在故障转移结束后，触发应对路径的脚本，并向脚本发送故障转移结果的参数。# 例如：sentinel client-reconfig-script mymaster /var/redis/reconfig.shsentinel client-reconfig-script
  • 常见问题：在172.16.2.4（主redis）上查看sentinel的信息，发现报错

基于腾讯云上自建高可用Redis实践

查看sentinel服务报错

  • 解决方案：修改/etc/sentinel.conf文件 

vi /etc/sentinel.conf# 关闭保护，改为no
protected-mode no
# 指定文件启动sentinel服务redis-sentinel sentinel.conf &
  • 验证： 

redis-cli -h host -p port info sentinel

三个redis-sentinel服务启动完毕后，连接任意sentinel服务可以获知当前主redis服务信息，说明sentinel服务已经成功起来

基于腾讯云上自建高可用Redis实践

查看sentinel服务已经启动

（9）测试sentinel的failover故障切换功能：

  • 把主redis（172.16.2.4）停掉 

redis-cli -h 172.16.2.4 -p 6379 shutdown
  • 查看redis-sentinel的监控状态： 

redis-cli -h 172.16.2.4 -p 26379 info sentinel

基于腾讯云上自建高可用Redis实践

查看sentinel信息发现master已经切换为172.16.2.2

  • 发现172.16.2.2这台redis-server提升为主库： 

redis-cli -h 172.16.2.2 -p 6379 info replication

基于腾讯云上自建高可用Redis实践

在master上查看主从状态

  • 控制台也输出相关信息，表示主从切换成功。

基于腾讯云上自建高可用Redis实践

控制台log，redis主从切换成功

  • 172.16.2.2切换成主之后，也可以执行写操作了。至此，redis的官方高可用sentinel方案已经搭建完成。

基于腾讯云上自建高可用Redis实践

确认当前主可以执行写操作

（10）客户端使用方式：

客户端程序（如PHP程序）连接redis时需要ip和port，但redis-server进行故障转移时，主redis是变化的，所以ip地址也是变化的。客户端程序如何感知当前主redis的ip地址和端口呢？redis-sentinel提供了接口，请求任何一个sentinel，发送SENTINEL get-master-addr-by-name <master name>就能得到当前主redis的ip和port。

  • 连接到sentinel获取当前主redis的ip和端口（因为又执行了一次切换，这里的主已经切换到172.16.2.15，这里只是说明客户端的使用方式）

基于腾讯云上自建高可用Redis实践

客户端程序连接方式

方案二：vip方案

1.方案说明

VIP方案是redis系统对外始终是同一ip地址，当redis主从进行故障转移时，需要做的是将VIP从之前的redis服务器漂移到现在新的主redis服务器上。

比如：当前redis系统中主redis的ip地址是172.16.2.4，那么VIP（172.16.2.250）指向172.16.2.4，客户端程序用VIP（172.16.2.250）地址连接redis，实际上连接的就是当前主redis，这样就避免了向sentinel发送请求。

  • 正常情况下VIP指向172.16.2.4

基于腾讯云上自建高可用Redis实践

正常情况下VIP指向172.16.2.4

  • 故障情况下，VIP漂移指向172.16.2.2

基于腾讯云上自建高可用Redis实践

master故障情况下，VIP自动漂移指向172.16.2.2

2.漂移VIP操作

那么现在的问题是，如何在进行redis故障转移时，将VIP漂移到新的主redis服务器上。

（1）在sentinel.conf配置文件设置要执行的vip漂移的脚本

使用sentinel.conf配置文件的有一个参数client-reconfig-script，这个参数配置执行脚本，sentinel在做failover的时候会执行这个脚本，并且传递6个参数<master-name>、 <role>、 <state>、 <from-ip>、 <from-port>、 <to-ip> 、<to-port>，其中<to-ip>是新主redis的IP地址，可以在这个脚本里做VIP漂移操作。 

# 修改三个服务器的redis-sentinel配置文件/etc/sentinel.conf，增加下面一行。vi /etc/sentinel.conf
sentinel client-reconfig-script mymaster /opt/notify_mymaster.sh

（2）创建VIP漂移脚本（VIP用之前在腾讯云控制台上申请的VIP）

然后在/opt/目录下创建notify_mymaster.sh脚本文件，这个脚本做VIP漂移操作。 

chmod 777 notify_mymaster.sh #赋予脚本执行权限

脚本内容如下： 

#notify_mymaster.sh脚本内容
#!/bin/bash
MASTER_IP=$6 #第六个参数是新主redis的ip地址
LOCAL_IP='172.16.2.2' #其他两个服务器上为172.16.2.4,172.16.2.15VIP='172.16.2.250'NETMASK='24'INTERFACE='eth0'if [ ${MASTER_IP} = ${LOCAL_IP} ];then 
 sudo /sbin/ip addr add ${VIP}/${NETMASK} dev ${INTERFACE} #将VIP绑定到该服务器上
 sudo /sbin/arping -q -c 3 -A ${VIP} -I ${INTERFACE}
 exit 0else 
 sudo /sbin/ip addr del ${VIP}/${NETMASK} dev ${INTERFACE} #将VIP从该服务器上删除
 exit 0fi
exit 1 #如果返回1，sentinel会一直执行这个脚本

（3）第一次需在主redis上手工设置VIP

只需要第一次手工在主redis上设置vip，现在当前主redis是172.16.2.2，需要手动绑定VIP到该服务器上。 （注意强烈建议加sudo执行） 

sudo /sbin/ip addr add 172.16.2.250/24 dev eth0
sudo /sbin/arping -q -c 3 -A 172.16.2.250 -I eth0

（4）然后，去另一个服务器上（172.16.2.15）通过VIP地址连接redis-server和redis-sentinel。从上面可以看到主redis是172.16.2.2

基于腾讯云上自建高可用Redis实践

VIP成功绑定在master 172.16.2.2上

（5）验证：下面关闭这台主redis服务（172.16.2.2），看看VIP是否漂移到另一台服务器上。 

redis-cli -h 172.16.2.2 -p 6379 shutdown

通过查询sentinel发现172.16.2.15提升为主。

基于腾讯云上自建高可用Redis实践

sentinel自动failover，将172.16.2.15提升为master

（6）通过访问VIP连接查看redis sentinel信息和redis-server主从关系，发现VIP确实指向了172.16.2.15。

基于腾讯云上自建高可用Redis实践

通过VIP成功查看sentinel状态

基于腾讯云上自建高可用Redis实践

通过VIP成功查看redis的状态

四、总结：

通过上面的操作，使用redis主从 + 哨兵（sentinel）+ 漂移VIP的方案搭建了一个redis高可用系统，但这个系统保证的是单个redis实例的高可用，所以适合业务比较小的应用。如果业务比较大，并发量比较高，建议搭建redis集群，比如官方redis cluster，还有开源的codings集群，或者使用腾讯云PAAS层redis集群方案，文档说明见：

标签:
打赏 点赞(5)

文章来源：智云一二三科技

文章标题：基于腾讯云上自建高可用Redis实践

文章地址：https://www.zhihuclub.com/151643.shtml

关于作者: 智云科技

相关文章

热门文章

1分享新浪图床上传接口源码

点赞(878)阅读(58,711)

2PHP简单实现路由Route功能

点赞(1.09K)阅读(35,923)

3Tideways、xhprof 和 xhgui 打造 PHP 非侵入式监控平台

点赞(305)阅读(4,263)

4centos系统如何查看是否安装了mysql

点赞(482)阅读(3,737)

5curl 工具简述

点赞(452)阅读(2,948)

评论已关闭

2条评论

  2. Again, these foci contained both BRCA1 and FANCD2 protein i, 1 All patients gave written informed consent, meeting international guidelines to participate in the trial

网站地图