开启运维之路之第 10 篇——Redis多机多节点集群

2023-10-22 15:10

本文主要是介绍开启运维之路之第 10 篇——Redis多机多节点集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

O的K,度过漫漫的2个月,开发公司的业务需求,总算做完了第一周期的开发,用的是微服务架构。SpringCloud和SpringBoot。现在借个道,回归自己的学习当中,继续前进。

第一步:搞两台虚拟机

1、克隆一份虚拟机

注意,是“创建完整克隆”,能让两台虚拟机完全独立。

O的K,虚拟机已经克隆好了。

2、启动两台虚拟机。两台虚拟机除了IP地址不同,其它都是一样,包括里面涉及的用户名,密码。

O的K,我们约定130这台虚拟机做主,131这台做备。

3、我们确保在用户的bin目录下,有开启集群工具 redis-trib.rb。可以去到两台虚拟机,通过命令查看。一般按照我的系列教程都会有的。

[root@localhost ~]# cd ../usr/local/bin/
[root@localhost bin]# ls
redis-trib.rb

第二步:修改配置,创建节点

1、在主虚拟机、备虚拟机目录下各创建一个 redis_machine_cluster 目录,然后分别创建3个目录,目录下创建节点,目录和端口号分别是8001,8002,8003和8004,8005,8006,即目录名是8001的就对应端口是8001。主要是用来与单机多节点区分,避免混淆。

主虚拟机:

[root@localhost ~]# mkdir redis_machine_cluster
[root@localhost ~]# cd redis_machine_cluster/
[root@localhost redis_machine_cluster]# mkdir 8001 8002 8003
[root@localhost redis_machine_cluster]# ls
8001  8002  8003

复制一份 Redis 的原生配置文件到8001目录下:

[root@localhost redis_machine_cluster]# cd
[root@localhost ~]# cp redis-4.0.10/redis.conf redis_machine_cluster/8001

修改这个配置文件:[root@localhost ~]# vi redis_machine_cluster/8001/redis.conf 

需要修改以下配置:

①端口号:8001目录对应8001,其它类似。

②bind 192.168.126.130 和 192.168.126.131 就是主和克隆虚拟机的IP地址。根据你们的IP来配置。主机配主机的IP,克隆机配克隆机IP。

③daemonize yes       redis后台运行

④pidfile /var/run/redis_8001.pid 对应6个不同的配置

⑤cluster-enabled yes 开启集群

⑥cluster-config-file nodes_8001.conf  保存节点配置,自动创建,自动更新对应8001-8006

⑦cluster-node-timeout 5000   集群超时时间,节点超过这个时间没反应就断定是宕机

⑧appendonly yes   存储方式,aof,将写操作记录保存到日志中

2、修改好8001配置文件之后,我们复制8001的配置文件到8002、8003,然后修改有8001的都改成8002和8003,需要修改的地方是①port、④pidfile、⑥cluster-config-file

复制8001的配置文件到8002、8003:

[root@localhost ~]# cp redis_machine_cluster/8001/redis.conf redis_machine_cluster/8002/
[root@localhost ~]# cp redis_machine_cluster/8001/redis.conf redis_machine_cluster/8003/

修改8002、8003目录下的配置文件:

[root@localhost ~]# vi redis_machine_cluster/8002/redis.conf 
[root@localhost ~]# vi redis_machine_cluster/8003/redis.conf 

O的K,接下来重复上面的动作,修改克隆机的配置文件,只不过是8004,8005,8006。熟练的运用快捷键,如编辑模式 i,退出 Esc,保存 :wq ,搜索 / ,搜索下一个 n,还有不用使用小键盘,用字母键上面那一行数字。

第三步:启动两台虚拟机的各3个节点,一共6个。

在主机器上:

[root@localhost ~]# /usr/local/redis/bin/redis-server redis_machine_cluster/8001/redis.conf 
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_machine_cluster/8002/redis.conf 
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_machine_cluster/8003/redis.conf 

克隆机器上:

[root@localhost ~]# /usr/local/redis/bin/redis-server redis_machine_cluster/8004/redis.conf
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_machine_cluster/8005/redis.conf
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_machine_cluster/8006/redis.conf

可以查看 Redis 进程:

[root@localhost ~]# ps -ef | grep redis
root       3344      1  0 14:46 ?        00:00:00 /usr/local/redis/bin/redis-server 192.168.126.131:8004 [cluster]
root       3349      1  0 14:47 ?        00:00:00 /usr/local/redis/bin/redis-server 192.168.126.131:8005 [cluster]
root       3354      1  0 14:47 ?        00:00:00 /usr/local/redis/bin/redis-server 192.168.126.131:8006 [cluster]
root       3360   3109  0 14:48 pts/1    00:00:00 grep --color=auto redis
[root@localhost ~]# 

O的K,都启动了。

第四步:查看防火墙状态

由于涉及到两台机器的互联,如果防火墙处于开启状态,则是不能互相访问,除非打开一些指定端口,在平时的开发过程,我们可以关闭防火墙,如果上线网,不能关闭防火墙,而是只开启需要的端口。

打开防火墙:systemctl start firewalld.service

关闭防火墙:systemctl stop firewalld.service

开机启动:systemctl enable firewalld.service

禁止防火墙开机启动:systemctl disable firewalld.service

查看防火墙状态:firewall-cmd --state  或者  systemctl status firewalld

第五步:创建集群。
[root@localhost ~]# redis-trib.rb create --replicas 1  192.168.126.130:8001 192.168.126.130:8002 192.168.126.130:8003 192.168.126.131:8004 192.168.126.131:8005 192.168.126.131:8006

注意:创建的集群IP地址,需要对应自己主机、克隆机的IP地址,端口号也要对应,有些人喜欢用7001,则对应7001。如果创建集群失败,则看我上一篇文章,里面有解决方案。

O的K,这样一来,主机上的 8001和8002以及克隆机的8004就是主节点,其它3个是从节点了。8001 VS 8006,8002 VS 8005,8004 VS 8003。

第六步:集群数据测试。

redis-cli是redis默认的客户端工具,启动时加上`-c`参数,`-p`指定端口,就可以连接到集群。

这里还得加-h 指定机器IP,连接任意一个节点端口:注意不要写错IP地址。

[root@localhost ~]# /usr/local/redis/bin/redis-cli -h 192.168.126.130 -c -p 8001

192.168.126.130:8001> set boy biandan520
OK
我们去到克隆机上,进入8005进行测试:

[root@localhost ~]# /usr/local/redis/bin/redis-cli -h 192.168.126.131 -c -p 8005
192.168.126.131:8005> get boy
-> Redirected to slot [417] located at 192.168.126.130:8001
"biandan520"

O的K,能获取到数据。

第七步:测试宕机

8001 VS 8006,8002 VS 8005,8004 VS 8003。我们把主节点8001干掉。

去到主机器上,查询 8001 节点所处的进程,干掉。

[root@localhost ~]# ps -ef|grep redis
root       3390      1  0 14:44 ?        00:00:03 /usr/local/redis/bin/redis-server 192.168.126.130:8001 [cluster]
root       3395      1  0 14:45 ?        00:00:04 /usr/local/redis/bin/redis-server 192.168.126.130:8002 [cluster]
root       3400      1  0 14:45 ?        00:00:03 /usr/local/redis/bin/redis-server 192.168.126.130:8003 [cluster]
root       3576   3449  0 15:21 pts/2    00:00:00 grep --color=auto redis
[root@localhost ~]# kill -9 3390

查看集群情况:[root@localhost ~]# redis-trib.rb check 192.168.126.130:8002

注意,我们已经把8001干掉了,如果查询集群情况后面端口跟8001,会提示错误。

可以看到,8006本来是从节点,现在荣升为主节点M,并且没有从节点。

我们把8006也干掉,赶尽杀绝。8006是克隆机上的,需要去到克隆机器上干掉。

[root@localhost ~]# ps -ef |grep redis
root       3344      1  0 14:46 ?        00:00:05 /usr/local/redis/bin/redis-server 192.168.126.131:8004 [cluster]
root       3349      1  0 14:47 ?        00:00:05 /usr/local/redis/bin/redis-server 192.168.126.131:8005 [cluster]
root       3354      1  0 14:47 ?        00:00:05 /usr/local/redis/bin/redis-server 192.168.126.131:8006 [cluster]
root       3461   3109  0 15:26 pts/1    00:00:00 grep --color=auto redis
[root@localhost ~]# kill -9 3354

再次查询集群情况。

发现,主节点、从节点 都宕机掉,哈希槽没有安全分配,集群宕掉。

[ERR] Not all 16384 slots are covered by nodes

所以不能正常使用集群了。这时候,就要启用应急措施了。一般针对上了线网的项目,需要马上处理。这就是Redis集群需要注意的地方。

第八步:编写shell脚本开启集群。

1、有时候,重新开启集群的时候,发现报错,这种错误在上一篇中有遇到。

解决办法:

①在克隆机上,编写 shell 脚本:

[root@localhost ~]# vi startRedisMachineCluster.sh

rm -rf appendonly.aof
rm -rf anaconda-ks.cfg
rm -rf nodes-8004.conf
rm -rf nodes-8005.conf
rm -rf nodes-8006.conf/usr/local/redis/bin/redis-server redis_machine_cluster/8004/redis.conf
/usr/local/redis/bin/redis-server redis_machine_cluster/8005/redis.conf
/usr/local/redis/bin/redis-server redis_machine_cluster/8006/redis.conf

然后授权:[root@localhost ~]# chmod u+x *.sh

启动:[root@localhost ~]# ./startRedisMachineCluster.sh

然后在主机器上编写脚本:[root@localhost ~]# vi startRedisMachineCluster.sh

rm -rf appendonly.aof
rm -rf anaconda-ks.cfg
rm -rf nodes-8001.conf
rm -rf nodes-8002.conf
rm -rf nodes-8003.conf/usr/local/redis/bin/redis-server redis_machine_cluster/8001/redis.conf
/usr/local/redis/bin/redis-server redis_machine_cluster/8002/redis.conf
/usr/local/redis/bin/redis-server redis_machine_cluster/8003/redis.confredis-trib.rb create --replicas 1  192.168.126.130:8001 192.168.126.130:8002 192.168.126.130:8003 192.168.126.131:8004 192.168.126.131:8005 192.168.126.131:8006

然后授权:[root@localhost ~]# chmod u+x *.sh

启动:[root@localhost ~]# ./startRedisMachineCluster.sh

没毛病,老铁!

如果遇到下面的错误,可以考虑杀掉之前启动的 Redis 进程,也可以重启虚拟机!安排!

 

这篇关于开启运维之路之第 10 篇——Redis多机多节点集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/262215

相关文章

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》:本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目,它提供了一个容易使用的持续集成系统,并且提供了大量的plugin满

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

Redis出现中文乱码的问题及解决

《Redis出现中文乱码的问题及解决》:本文主要介绍Redis出现中文乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 问题的产生2China编程. 问题的解决redihttp://www.chinasem.cns数据进制问题的解决中文乱码问题解决总结

C++链表的虚拟头节点实现细节及注意事项

《C++链表的虚拟头节点实现细节及注意事项》虚拟头节点是链表操作中极为实用的设计技巧,它通过在链表真实头部前添加一个特殊节点,有效简化边界条件处理,:本文主要介绍C++链表的虚拟头节点实现细节及注... 目录C++链表虚拟头节点(Dummy Head)一、虚拟头节点的本质与核心作用1. 定义2. 核心价值二

Redis的持久化之RDB和AOF机制详解

《Redis的持久化之RDB和AOF机制详解》:本文主要介绍Redis的持久化之RDB和AOF机制,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述RDB(Redis Database)核心原理触发方式手动触发自动触发AOF(Append-Only File)核

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

SpringBoot连接Redis集群教程

《SpringBoot连接Redis集群教程》:本文主要介绍SpringBoot连接Redis集群教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 依赖2. 修改配置文件3. 创建RedisClusterConfig4. 测试总结1. 依赖 <de

SpringBoot+Redis防止接口重复提交问题

《SpringBoot+Redis防止接口重复提交问题》:本文主要介绍SpringBoot+Redis防止接口重复提交问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录前言实现思路代码示例测试总结前言在项目的使用使用过程中,经常会出现某些操作在短时间内频繁提交。例

Redis 配置文件使用建议redis.conf 从入门到实战

《Redis配置文件使用建议redis.conf从入门到实战》Redis配置方式包括配置文件、命令行参数、运行时CONFIG命令,支持动态修改参数及持久化,常用项涉及端口、绑定、内存策略等,版本8... 目录一、Redis.conf 是什么?二、命令行方式传参(适用于测试)三、运行时动态修改配置(不重启服务

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数