本文主要是介绍非关系型数据库--------------------Redis 群集模式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
一、集群原理
二、集群的作用
(1)数据分区
(2)高可用
Redis集群的作用和优势
三、Redis集群的数据分片
四、Redis集群的工作原理
五、搭建redis群集模式
5.1启用脚本配置集群
5.2修改集群配置
5.3启动redis节点
5.4启动集群
5.5测试群集
一、集群原理
集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。
集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点
只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制
Cluster模式是Redis的一种高级集群模式,它通过数据分片和分布式存储实现了负载均衡和高可用性。在Cluster模式下,Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据,称为槽位。通过对数据的分片,Cluster模式可以突破单节点的内存限制,实现更大规模的数据存储。
二、集群的作用
(1)数据分区
数据分区(或称数据分片)是集群最核心的功能
集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;
另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。
Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;
例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。
(2)高可用
集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。
Redis集群的作用和优势
- 高可用性:Redis集群可以在某个节点发生故障时,自动进行故障转移,保证服务的持续可用。
- 负载均衡:Redis集群可以将客户端请求分发到不同的节点上,有效地分摊节点的压力,提高系统的整体性能。
- 容灾恢复:通过主从复制或哨兵模式,Redis集群可以在主节点出现故障时,快速切换到从节点,实现业务的无缝切换。
- 数据分片:在Cluster模式下,Redis集群可以将数据分散在不同的节点上,从而突破单节点内存限制,实现更大规模的数据存储。
- 易于扩展:Redis集群可以根据业务需求和系统负载,动态地添加或移除节点,实现水平扩展
三、Redis集群的数据分片
- Redis集群引入了哈希槽的概念
- Redis集群有16384个哈希槽(编号0-16383)
- 集群的每个节点负责一部分哈希槽
每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作
以3个节点组成的集群为例
节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽
Redis集群的主从复制模型
集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用
集群功能:
既可以实现高可用,又支持读写负载均衡,且可以横向扩容,更灵活。缺点成本高!
四、Redis集群的工作原理
- 集群有多组节点,每组节点负责一部分哈希槽。
- 读写数据时,先针对key根据crc16的算法得出一个结果,然后把结果对 16384 取余。通过这个值去找到对应的哈希槽的节点,进行数据读写。
- 集群每组节点内做主从复制,当主节点宕机的时候,就会启用从节点。主节点负责读写请求和集群信息的维护;从节点负责主节点数据和状态信息的复制。
五、搭建redis群集模式
redis的集群一般需要6个节点,3主3从
方便起见,这里所有节点在同一台服务器上模拟:
以端口号进行区分:3个主节点端口号:6001/6002/6003对应的从节点端口号:6004/6005/6006
5.1启用脚本配置集群
[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf
[root@localhost redis]#mkdir -p redis-cluster/redis600{1..6}
[root@localhost redis]#ls
6379.conf redis-cluster
[root@localhost redis]#ls -p redis-cluster/
redis6001/ redis6002/ redis6003/ redis6004/ redis6005/ redis6006/
[root@localhost redis]#vim redis-cluster.sh
[root@localhost redis]#cat redis-cluster.sh
#!/bin/bash
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done
[root@localhost redis]#bash redis-cluster.sh
[root@localhost redis]#
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done
5.2修改集群配置
[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf redis-cluster redis-cluster.sh
[root@localhost redis]#cd redis-cluster/
[root@localhost redis-cluster]#ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[root@localhost redis-cluster]#cd /etc/redis/redis-cluster/redis6001
[root@localhost redis6001]#ls
redis-cli redis.conf redis-server
[root@localhost redis6001]#vim redis.conf
vim redis.conf
------------------------------------
#bind 127.0.0.1 #69行,注释掉bind 项,默认监听所有网卡
protected-mode no #88行,修改,关闭保护模式
port 6001 #92行,修改,redis监听端口,
daemonize yes #136行,开启守护进程,以独立进程启动
cluster-enabled yes #832行,取消注释,开启群集功能
cluster-config-file nodes-6001.conf #840行,取消注释,群集名称文件设置
cluster-node-timeout 15000 #846行,取消注释群集超时时间设置
appendonly yes #699行,修改,开启AOF持久化
#开启群集功能:
#其他5个文件夹的配置文件以此类推修改,注意6个端口都要不一样
修改redis6002
cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6002/redis.conf
修改redis6003
[root@localhost redis6002]#cd ../
[root@localhost redis-cluster]#ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6003/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6003/redis.conf"? yes
[root@localhost redis-cluster]#cd redis6003
[root@localhost redis6003]#ls
redis-cli redis.conf redis-server
[root@localhost redis6003]#vim redis.conf
[root@localhost redis6003]#
修改redis6004 可以修改前先做备份
cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6004/redis.conf
修改redis6005
[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6005/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6005/redis.conf"? yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6005/redis.conf
修改redis6006
[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6006/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6006/redis.conf"? yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6006/redis.conf
5.3启动redis节点
分别进入那六个文件夹,执行命令:redis-server redis.conf ,来启动redis节点
cd /etc/redis/redis-cluster/redis6001 #进入对应实例1目录
redis-server redis.conf #执行启动redis实例1......
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done
[root@localhost redis-cluster]#vim redis.sh
[root@localhost redis-cluster]#cat redis.sh
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done
[root@localhost redis-cluster]#
[root@localhost redis-cluster]#bash redis.sh
52754:C 05 Apr 2024 23:14:37.775 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52754:C 05 Apr 2024 23:14:37.775 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52754, just started
52754:C 05 Apr 2024 23:14:37.775 # Configuration loaded
52756:C 05 Apr 2024 23:14:37.786 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52756:C 05 Apr 2024 23:14:37.786 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52756, just started
52756:C 05 Apr 2024 23:14:37.786 # Configuration loaded
52761:C 05 Apr 2024 23:14:37.793 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52761:C 05 Apr 2024 23:14:37.793 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52761, just started
52761:C 05 Apr 2024 23:14:37.793 # Configuration loaded
52763:C 05 Apr 2024 23:14:37.810 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52763:C 05 Apr 2024 23:14:37.810 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52763, just started
52763:C 05 Apr 2024 23:14:37.810 # Configuration loaded
52765:C 05 Apr 2024 23:14:37.835 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52765:C 05 Apr 2024 23:14:37.835 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52765, just started
52765:C 05 Apr 2024 23:14:37.835 # Configuration loaded
52773:C 05 Apr 2024 23:14:37.853 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52773:C 05 Apr 2024 23:14:37.854 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52773, just started
52773:C 05 Apr 2024 23:14:37.854 # Configuration loaded
[root@localhost redis-cluster]#ps -elf|grep redis
5 S root 44354 1 0 80 0 - 41826 ep_pol 14:40 ? 00:01:36 /usr/local/bin/redis-server 127.0.0.1:6379
5 S root 52755 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6001 [cluster]
5 S root 52760 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6002 [cluster]
5 S root 52762 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6003 [cluster]
5 S root 52764 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6004 [cluster]
5 S root 52772 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6005 [cluster]
5 S root 52780 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6006 [cluster]
0 R root 52793 51689 0 80 0 - 28206 - 23:15 pts/1 00:00:00 grep --color=auto redis
5.4启动集群
redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1
#六个实例分为三组,每组一主一从,前面的做主节点,后面的做从节点。下面交互的时候 需要输入 yes 才可以创建。
--replicas 1 表示每个主节点有1个从节点
5.5测试群集
[root@localhost redis-cluster]#redis-cli -p 6001 -c #加-c参数,节点之间就可以互相跳转
127.0.0.1:6001> cluster slots #查看节点的哈希槽编号范围
1) 1) (integer) 109232) (integer) 16383 #哈希槽编号范围3) 1) "127.0.0.1"2) (integer) 6003 #主节点IP和端口号3) "517b6f739d799417531be7a4da7c2b6c59bdb415"4) 1) "127.0.0.1"2) (integer) 6005 #从节点IP和端口号3) "20858bff3d0e515ae4cc9ad80db9464079870af1"
2) 1) (integer) 02) (integer) 54603) 1) "127.0.0.1"2) (integer) 60013) "7ea9f4187a154227822a8bdbda1d505a60ffee18"4) 1) "127.0.0.1"2) (integer) 60063) "f8973b905a037decc67b3ba23d4045ab09ece2b9"
3) 1) (integer) 54612) (integer) 109223) 1) "127.0.0.1"2) (integer) 60023) "4dd33914cc8f0d243cba9c5825d04b01ec509db3"4) 1) "127.0.0.1"2) (integer) 60043) "29bf7ba9fa45ce55be3e7902b78177ca0de126c3"
127.0.0.1:6001>
[root@localhost redis-cluster]#redis-cli -p 6001 -c
127.0.0.1:6001> set name zzz
-> Redirected to slot [5798] located at 127.0.0.1:6002
OK
127.0.0.1:6002> cluster keyslot name
(integer) 5798
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6002 -c
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> get name
"zzz"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6003 -c
127.0.0.1:6003> keys *
(empty list or set)
127.0.0.1:6003> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6004 -c
127.0.0.1:6004> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6005 -c
127.0.0.1:6005> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6006 -c
127.0.0.1:6006> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#
集群模式——Cluster
redis cluster 是一个提供高性能、高可用、数据分片、故障转移特性的分布式数据库解决方案,提供一组redis服务之间的网络接口。
- 数据分片:redis cluster 实现了就爱那个数据自动分片,每个节点都会保存一份数据
- 故障转移:若个某个节点发生故障,cluster会自动将其上的分片迁移个其他节点
- 高性能:由于数据分片和网络,redis cluster提供高性能的数据操作
- 高可能:如果单个节点挂掉了,那么redis cluster 内部会自动进行故障恢复
这篇关于非关系型数据库--------------------Redis 群集模式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!