详解Redis主从复制和哨兵机制

1. redis主从复制
1.1 redis主从复制
redis主从复制主要有两个角色,主机(master)对外提供读写功能,从机(slave)对外只提供读功能,主机定期把数据同步到从机上保证数据一致性。
redis主机数据同步到从机上有两种方式,一种是全量同步,另一种是增量同步。
主从复制不会阻塞master,在数据同步时,master还可以继续处理客户端请求,因为redis会产生一个新的进程来解决同步问题。
一个redis也可以是从也可以是主(树状主从),可以减轻主机压力。
1.2 redis主从配置
只需要修改从服务器上的redis.conf文件:
# slaveof 《masterip》 《masterport》
# 表示当前【从服务器】对应的【主服务器】的ip是192.168.10.135,端口是6379。
slaveof 192.168.10.135 6379
启动主服务器 redis-server redis.conf
进入从服务器文件夹,启动从服务器
查看主服务器信息:redis-cli -p 6379 info replication,可以看到有几个从服务器
1.3 实现原理
redis的主从同步分为两种,分为全量同步和增量同步。
只有从机第一次连接上主机是全量同步。
断线重连很有可能触发全量同步也有可能是增量同步(master判断runid`是否一致)。
runid
每个redis服务器,不论主服务器还是从服务,都会有自己的运行id。psync runid 这个命令,runid是指上一次复制主服务器的运行id,如果没有保存这个id,psync的命令会使用”psync ? -1” 这种形式发送给master,请求主服务器进行全量复制。
offset(复制偏移量)
主服务器和从服务器会分别维护一个复制偏移量,主服务器每次向从服务器传播n个字节的数据时,就将自己的复制偏移量的值加上n,从服务器每次收到主服务器传播来的n个字节的数据时,就将自己的复制偏移量值加上n。
复制积压缓冲区
复制积压缓冲区是由主服务器维护一个固定长度(fixed-size)先进先出(fifo)队列,默认大小是1mb。它主要的作用就是当主服务器进行命令传播时,不仅将命令发送给所有从服务器,还会将命令入队到复制积压缓冲区。如果主服务器向从服务器传播数据时发生断线,主服务器会将复制积压缓冲区偏移量的所有数据都发送给从服务器(发送的是断线之后的的数据)。
psync执行过程
1.slave接受从客户端发送过来的slaveof命令。
当前服务器判断自己是否保存master runid是否是第一次复制。
如果是第一次复制那么当前服务器向master发送psync ? -1命令,主动请求master进行全量同步。
如果已经父之过master,那么当前从服务器向master发送psync runid offset命令。
master接收到psync 命令后首先判断runid是否和本机的id一致,如果runid和本机id不一致则返回+fullresync runid offset命令执行全量同步操作,当前服务器会将runid保存起来,在下次发送psunc时使用。
如果判断runid和本机id一致,master则会再次判断offset偏移量和本机的偏移量相差有没有超过复制积压缓冲区大小,如果没有那么就给slave发送continue,此时slave只需要等待master传回失去连接期间丢失的命令;
全量同步
redis的全量同步主要分为三个阶段:
同步快照阶段:master创建并发送快照给slave,slave再入快照并解析。master同时将此阶段产生的新的命令写入到积压缓冲区中。
同步写缓冲阶段:master向slave同步存储在缓冲区的写操作命令。
同步增量阶段:master向slave同步写操作命令。
增量同步
redis增量同步主要是指slave完成初始化开始正常工作时,master发生的写操作同步到slave的过程。
通常情况下,master没执行一个写命令就会想slave发送相同的写命令,然后slave接受并执行。
2. 哨兵(sentinel)机制
2.1 哨兵机制介绍
sentinel进程是用于监控redis集群中master主服务器工作的状态。
在master主服务器发生故障的时候,可以实现master和slave服务器的切换,保证系统的高可用。
2.2 为什么要有哨兵机制?
redis主从复制的缺点:没有办法对master进行动态选举,需要使用sentinel机制完成动态选举。
2.3 哨兵的作用
监控(monitoring):sentinel会不断检查master和slave是否运行正常。
提醒(notification):当被监控的某个redis节点出现问题时, sentinel 可以通过 api向管理员或者其他应用程序发送通知。
自动故障转移(automatic failover):当master不能正常操作时哨兵会开始一次故障转移。 它会将失效的master的其中一个slave升级为新的master,并让其他slave改为复制新的master。 当客户端试图连接失效的master时,集群会向客户端显示新的master的地址。 master和slave切换后,master的redis.conf、slave的reids.conf和senisentinel的sentinel.conf配置文件的内容都会相应的改变,即,master主服务器的redis.conf配置文件中会多一行slaveof的配置,sentinel.conf的监控目标会随之调换。
2.4 故障判断原理分析
每个sentinel进程每秒钟一次的频率向整个集群中master、slave以及其它sentinel进程发送一个ping命令。
如果一个实例(instance)距离最后一次有效回复ping命令超过down-after-milliseconds选项所指定的值,这个实例会被sentinel进程标记为主观下线(sdown)。
如果一个master主服务器被标记为主观下线(sdown),则正在监视这个master主服务器的所有 sentinel进程要以每秒一次的频率确认master主服务器的确进入了主观下线状态。
当有足够数量的 sentinel进程(大于等于配置文件指定的值)在指定的时间范围内确认master主服务器进入了主观下线状态(sdown), 则master主服务器会被标记为客观下线(odown)。
在一般情况下, 每个 sentinel进程会以每 10 秒一次的频率向集群中的所有master主服务器、slave从服务器发送 info 命令。
当master主服务器被 sentinel进程标记为客观下线(odown)时,sentinel进程向下线的 master主服务器的所有 slave从服务器发送 info 命令的频率会从 10 秒一次改为每秒一次。
若没有足够数量的 sentinel进程同意 master主服务器下线, master主服务器的客观下线状态就会被移除。若 master主服务器重新向 sentinel进程发送 ping 命令返回有效回复,master主服务器的主观下线状态就会被移除。

工商业光伏发电系统该如何选型?
您需要模块,而不是微服务
中国南方电网来访大疆,探讨无人机智能巡检实际应用
荣耀9X系列正式发布 售价1399元起
UC3843-uc3842介绍,UC3842 INTRODUCTION
详解Redis主从复制和哨兵机制
电机的分类介绍
5G BRT智能网联系统的优势
无线通信终端的功能及应用
电气原理图中电器元件的绘制规则
半导体行业未来发展方向究竟是什么?
一文详解i.MX 6Dual/6Quad主要特性及应用
自制的简易电视机天线
电阻应变式称重传感器原理
使用简单工厂方法实现硬盘对象创建
浩洋股份从舞台灯转战UV LED
关于模拟放大电路的特点分析
在全球高度的TCL,看到电视大屏与AI智能风口
推开“任意门”,华为全屋智能正在实现一代科幻迷的童年梦想
windows安装ubuntu并让pioneer1应用程序跑起来的过程