非关系型数据库--------------------Redis 群集模式

2024-04-06 10:20
文章标签 模式 关系 redis 数据库 群集 --------------------

本文主要是介绍非关系型数据库--------------------Redis 群集模式，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

一、集群原理

二、集群的作用

（1）数据分区

（2）高可用

 Redis集群的作用和优势

三、Redis集群的数据分片

四、Redis集群的工作原理

五、搭建redis群集模式

5.1启用脚本配置集群

5.2修改集群配置

5.3启动redis节点

5.4启动集群

5.5测试群集

一、集群原理

集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。

集群由多个节点(Node)组成，Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点

只有主节点负责读写请求和集群信息的维护；从节点只进行主节点数据和状态信息的复制

Cluster模式是Redis的一种高级集群模式，它通过数据分片和分布式存储实现了负载均衡和高可用性。在Cluster模式下，Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据，称为槽位。通过对数据的分片，Cluster模式可以突破单节点的内存限制，实现更大规模的数据存储。

二、集群的作用

（1）数据分区

数据分区(或称数据分片)是集群最核心的功能

集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；

另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。

Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；

例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

（2）高可用

集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障时，集群仍然可以对外提供服务。

 Redis集群的作用和优势

  1. 高可用性：Redis集群可以在某个节点发生故障时，自动进行故障转移，保证服务的持续可用。
  2. 负载均衡：Redis集群可以将客户端请求分发到不同的节点上，有效地分摊节点的压力，提高系统的整体性能。
  3. 容灾恢复：通过主从复制或哨兵模式，Redis集群可以在主节点出现故障时，快速切换到从节点，实现业务的无缝切换。
  4. 数据分片：在Cluster模式下，Redis集群可以将数据分散在不同的节点上，从而突破单节点内存限制，实现更大规模的数据存储。
  5. 易于扩展：Redis集群可以根据业务需求和系统负载，动态地添加或移除节点，实现水平扩展

三、Redis集群的数据分片

  • Redis集群引入了哈希槽的概念
  • Redis集群有16384个哈希槽（编号0-16383）
  • 集群的每个节点负责一部分哈希槽

每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作

以3个节点组成的集群为例

节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽

Redis集群的主从复制模型

集群中具有A、B、C三个节点，如果节点B失败了，整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节点B失败后，集群选举B1位为的主节点继续服务。当B和B1都失败后，集群将不可用

集群功能：
既可以实现高可用，又支持读写负载均衡，且可以横向扩容，更灵活。缺点成本高！

四、Redis集群的工作原理

  • 集群有多组节点，每组节点负责一部分哈希槽。
  • 读写数据时，先针对key根据crc16的算法得出一个结果，然后把结果对 16384 取余。通过这个值去找到对应的哈希槽的节点，进行数据读写。
  • 集群每组节点内做主从复制，当主节点宕机的时候，就会启用从节点。主节点负责读写请求和集群信息的维护；从节点负责主节点数据和状态信息的复制。

五、搭建redis群集模式

redis的集群一般需要6个节点，3主3从

方便起见，这里所有节点在同一台服务器上模拟：
以端口号进行区分：3个主节点端口号：6001/6002/6003

                                对应的从节点端口号：6004/6005/6006

5.1启用脚本配置集群

[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf
[root@localhost redis]#mkdir -p redis-cluster/redis600{1..6}
[root@localhost redis]#ls
6379.conf  redis-cluster
[root@localhost redis]#ls -p redis-cluster/
redis6001/  redis6002/  redis6003/  redis6004/  redis6005/  redis6006/
[root@localhost redis]#vim redis-cluster.sh
[root@localhost redis]#cat redis-cluster.sh
#!/bin/bash
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done
[root@localhost redis]#bash redis-cluster.sh
[root@localhost redis]#

for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done

5.2修改集群配置

[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf  redis-cluster  redis-cluster.sh
[root@localhost redis]#cd redis-cluster/
[root@localhost redis-cluster]#ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@localhost redis-cluster]#cd /etc/redis/redis-cluster/redis6001
[root@localhost redis6001]#ls
redis-cli  redis.conf  redis-server
[root@localhost redis6001]#vim redis.conf
vim redis.conf
------------------------------------
#bind 127.0.0.1							#69行，注释掉bind 项，默认监听所有网卡
protected-mode no						#88行，修改，关闭保护模式
port 6001								#92行，修改，redis监听端口，
daemonize yes							#136行，开启守护进程，以独立进程启动
cluster-enabled yes						#832行，取消注释，开启群集功能
cluster-config-file nodes-6001.conf		#840行，取消注释，群集名称文件设置
cluster-node-timeout 15000				#846行，取消注释群集超时时间设置
appendonly yes							#699行，修改，开启AOF持久化

#开启群集功能：
#其他5个文件夹的配置文件以此类推修改，注意6个端口都要不一样

修改redis6002

cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6002/redis.conf

修改redis6003

[root@localhost redis6002]#cd ../
[root@localhost redis-cluster]#ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6003/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6003/redis.conf"？ yes
[root@localhost redis-cluster]#cd redis6003
[root@localhost redis6003]#ls
redis-cli  redis.conf  redis-server
[root@localhost redis6003]#vim redis.conf 
[root@localhost redis6003]#

修改redis6004   可以修改前先做备份 

cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6004/redis.conf

修改redis6005

[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6005/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6005/redis.conf"？ yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6005/redis.conf

修改redis6006

[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6006/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6006/redis.conf"？ yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6006/redis.conf

5.3启动redis节点

分别进入那六个文件夹，执行命令：redis-server redis.conf ，来启动redis节点

cd /etc/redis/redis-cluster/redis6001  #进入对应实例1目录
redis-server redis.conf  #执行启动redis实例1......

for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done

[root@localhost redis-cluster]#vim redis.sh
[root@localhost redis-cluster]#cat redis.sh
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done
[root@localhost redis-cluster]#
[root@localhost redis-cluster]#bash redis.sh
52754:C 05 Apr 2024 23:14:37.775 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52754:C 05 Apr 2024 23:14:37.775 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52754, just started
52754:C 05 Apr 2024 23:14:37.775 # Configuration loaded
52756:C 05 Apr 2024 23:14:37.786 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52756:C 05 Apr 2024 23:14:37.786 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52756, just started
52756:C 05 Apr 2024 23:14:37.786 # Configuration loaded
52761:C 05 Apr 2024 23:14:37.793 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52761:C 05 Apr 2024 23:14:37.793 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52761, just started
52761:C 05 Apr 2024 23:14:37.793 # Configuration loaded
52763:C 05 Apr 2024 23:14:37.810 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52763:C 05 Apr 2024 23:14:37.810 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52763, just started
52763:C 05 Apr 2024 23:14:37.810 # Configuration loaded
52765:C 05 Apr 2024 23:14:37.835 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52765:C 05 Apr 2024 23:14:37.835 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52765, just started
52765:C 05 Apr 2024 23:14:37.835 # Configuration loaded
52773:C 05 Apr 2024 23:14:37.853 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52773:C 05 Apr 2024 23:14:37.854 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52773, just started
52773:C 05 Apr 2024 23:14:37.854 # Configuration loaded
[root@localhost redis-cluster]#ps -elf|grep redis
5 S root      44354      1  0  80   0 - 41826 ep_pol 14:40 ?        00:01:36 /usr/local/bin/redis-server 127.0.0.1:6379
5 S root      52755      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6001 [cluster]
5 S root      52760      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6002 [cluster]
5 S root      52762      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6003 [cluster]
5 S root      52764      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6004 [cluster]
5 S root      52772      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6005 [cluster]
5 S root      52780      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6006 [cluster]
0 R root      52793  51689  0  80   0 - 28206 -      23:15 pts/1    00:00:00 grep --color=auto redis

5.4启动集群

redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1

#六个实例分为三组，每组一主一从，前面的做主节点，后面的做从节点。下面交互的时候 需要输入 yes 才可以创建。
--replicas 1 表示每个主节点有1个从节点

5.5测试群集

[root@localhost redis-cluster]#redis-cli -p 6001 -c  #加-c参数，节点之间就可以互相跳转
127.0.0.1:6001> cluster slots #查看节点的哈希槽编号范围
1) 1) (integer) 109232) (integer) 16383  #哈希槽编号范围3) 1) "127.0.0.1"2) (integer) 6003  #主节点IP和端口号3) "517b6f739d799417531be7a4da7c2b6c59bdb415"4) 1) "127.0.0.1"2) (integer) 6005  #从节点IP和端口号3) "20858bff3d0e515ae4cc9ad80db9464079870af1"
2) 1) (integer) 02) (integer) 54603) 1) "127.0.0.1"2) (integer) 60013) "7ea9f4187a154227822a8bdbda1d505a60ffee18"4) 1) "127.0.0.1"2) (integer) 60063) "f8973b905a037decc67b3ba23d4045ab09ece2b9"
3) 1) (integer) 54612) (integer) 109223) 1) "127.0.0.1"2) (integer) 60023) "4dd33914cc8f0d243cba9c5825d04b01ec509db3"4) 1) "127.0.0.1"2) (integer) 60043) "29bf7ba9fa45ce55be3e7902b78177ca0de126c3"
127.0.0.1:6001>

[root@localhost redis-cluster]#redis-cli -p 6001 -c
127.0.0.1:6001> set name zzz
-> Redirected to slot [5798] located at 127.0.0.1:6002
OK
127.0.0.1:6002> cluster keyslot name
(integer) 5798
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6002 -c 
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> get name
"zzz"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6003 -c
127.0.0.1:6003> keys *
(empty list or set)
127.0.0.1:6003> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6004 -c
127.0.0.1:6004> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6005 -c
127.0.0.1:6005> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6006 -c
127.0.0.1:6006> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit 
[root@localhost redis-cluster]#

集群模式——Cluster
redis cluster 是一个提供高性能、高可用、数据分片、故障转移特性的分布式数据库解决方案，提供一组redis服务之间的网络接口。

  • 数据分片：redis cluster 实现了就爱那个数据自动分片，每个节点都会保存一份数据
  • 故障转移：若个某个节点发生故障，cluster会自动将其上的分片迁移个其他节点
  • 高性能：由于数据分片和网络，redis cluster提供高性能的数据操作
  • 高可能：如果单个节点挂掉了，那么redis cluster 内部会自动进行故障恢复

这篇关于非关系型数据库--------------------Redis 群集模式的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/879671。

相关文章

IDEA如何切换数据库版本mysql5或mysql8

IDEA如何切换数据库版本mysql5或mysql8

《IDEA如何切换数据库版本mysql5或mysql8》本文介绍了如何将IntelliJIDEA从MySQL5切换到MySQL8的详细步骤,包括下载MySQL8、安装、配置、停止旧服务、启动新服务以及... 目录问题描述解决方案第一步第二步第三步第四步第五步总结问题描述最近想开发一个新应用，想使用mysq
阅读更多...
Oracle数据库使用 listagg去重删除重复数据的方法汇总

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种：使用wm_concat() + distinct去重聚合第二种：使用listagg，
阅读更多...
Redis主从/哨兵机制原理分析

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制
阅读更多...
Redis延迟队列的实现示例

Redis延迟队列的实现示例

《Redis延迟队列的实现示例》Redis延迟队列是一种使用Redis实现的消息队列,本文主要介绍了Redis延迟队列的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习... 目录一、什么是 Redis 延迟队列二、实现原理三、Java 代码示例四、注意事项五、使用 Redi
阅读更多...
Redis缓存问题与缓存更新机制详解

Redis缓存问题与缓存更新机制详解

《Redis缓存问题与缓存更新机制详解》本文主要介绍了缓存问题及其解决方案,包括缓存穿透、缓存击穿、缓存雪崩等问题的成因以及相应的预防和解决方法,同时,还详细探讨了缓存更新机制,包括不同情况下的缓存更... 目录一、缓存问题1.1 缓存穿透1.1.1 问题来源1.1.2 解决方案1.2 缓存击穿1.2.1
阅读更多...
redis-cli命令行工具的使用小结

redis-cli命令行工具的使用小结

《redis-cli命令行工具的使用小结》redis-cli是Redis的命令行客户端,支持多种参数用于连接、操作和管理Redis数据库,本文给大家介绍redis-cli命令行工具的使用小结,感兴趣的... 目录基本连接参数基本连接方式连接远程服务器带密码连接操作与格式参数-r参数重复执行命令-i参数指定命
阅读更多...
深入理解Redis大key的危害及解决方案

深入理解Redis大key的危害及解决方案

《深入理解Redis大key的危害及解决方案》本文主要介绍了深入理解Redis大key的危害及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着... 目录一、背景二、什么是大key三、大key评价标准四、大key 产生的原因与场景五、大key影响与危
阅读更多...
Redis主从复制的原理分析

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维
阅读更多...
Redis过期键删除策略解读

Redis过期键删除策略解读

《Redis过期键删除策略解读》Redis通过惰性删除策略和定期删除策略来管理过期键,惰性删除策略在键被访问时检查是否过期并删除,节省CPU开销但可能导致过期键滞留,定期删除策略定期扫描并删除过期键,... 目录1.Redis使用两种不同的策略来删除过期键，分别是惰性删除策略和定期删除策略1.1惰性删除策略
阅读更多...
Linux(Centos7)安装Mysql/Redis/MinIO方式

Linux(Centos7)安装Mysql/Redis/MinIO方式

《Linux(Centos7)安装Mysql/Redis/MinIO方式》文章总结：介绍了如何安装MySQL和Redis,以及如何配置它们为开机自启,还详细讲解了如何安装MinIO,包括配置Syste... 目录安装mysql安装Redis安装MinIO总结安装Mysql安装Redis搜索Red
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2