全网最最最最详细的企业级NoSql数据库Redis集群

2024-08-27 03:04

本文主要是介绍全网最最最最详细的企业级NoSql数据库Redis集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一 关系型数据库和 NoSQL 数据库

1.1 数据库主要分为两大类:关系型数据库与 NoSQL 数据库

1.2 为什么还要用 NoSQL 数据库呢?

二 Remote Dictionary Server 简介 

2.1 什么是redis

2.2:redis特性

2.3 Redis应用场景 

2.4 缓存的实现流程 

三 Redis的安装

3.1 rpm包方式安装

 3.2 源码安装

四:Redis 主从复制 

4.1:环境配置

4.2:配置主从同步

4.21.修改mastser节点的配置文件

 4.22.配置slave节点

 4.23:测试效果 

4.3:主从同步过程 

五:Redis的哨兵(高可用)

5.1:Redis哨兵

5.2:哨兵的实验过程

5.3:在整个架构中可能会出现的问题 

 六:Redis Cluster(无中心化设计)

6.1 :Redis Cluster 工作原理

6.2:创建redis cluster的前提  

6.3:部署redis cluster

6.4 :redis-cli --cluster 参数说明  

6.5:创建redis-cluster  

6.6:集群扩容  

 6.7:clsuter集群维护


一 关系型数据库和 NoSQL 数据库

1.1 数据库主要分为两大类:关系型数据库与 NoSQL 数据库

关系型数据库 ,是建立在关系模型基础上的数据库,其借助于集合代数等数学概念和方法来处理数据库 中的数据主流的 MySQL Oracle MS SQL Server DB2 都属于这类传统数据库。
NoSQL 数据库 ,全称为 Not Only SQL ,意思就是适用关系型数据库的时候就使用关系型数据库,不适 用的时候也没有必要非使用关系型数据库不可,可以考虑使用更加合适的数据存储。主要分为临时性键 值存储(memcached Redis )、永久性键值存储( ROMA Redis )、面向文档的数据库 (MongoDB CouchDB )、面向列的数据库( Cassandra HBase ),每种 NoSQL 都有其特有的使用 场景及优点。

1.2 为什么还要用 NoSQL 数据库呢?

主要是由于随着互联网发展,数据量越来越大,对性能要求越来越高,传统数据库存在着先天性的缺 陷,即单机(单库)性能瓶颈,并且扩展困难。这样既有单机单库瓶颈,却又扩展困难,自然无法满足 日益增长的海量数据存储及其性能要求,所以才会出现了各种不同的 NoSQL 产品, NoSQL 根本性的优 势在于在云计算时代,简单、易于大规模分布式扩展,并且读写性能非常高

Remote Dictionary Server 简介 

2.1 什么是redis

2009 年发布,开发者是意大利的萨尔瓦多 · 桑菲利波普( Salvatore Sanfilippo ),他本想为自己的公司开发一个用于替换MySQL 的产品 Redis ,但是没有想到他把 Redis 开源后大受欢迎,短短几年, Redis 就有了很大的用户群体,目前国内外使用的公司众多, 比如 : 阿里 , 百度 , 新浪微博 , 知乎网 ,GitHub,Twitter 等 Redis是一个开源的、遵循 BSD 协议的、基于内存的而且目前比较流行的键值数据库 (key-value database),是一个非关系型数据库, redis 提供将内存通过网络远程共享的一种服务,提供类似功能的还有memcached ,但相比 memcached redis 还提供了易扩展、高性能、具备数据持久性等功能。 Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛

2.2:redis特性

  • 速度快: 10W QPS,基于内存,C语言实现
  • 单线程
  • 持久化
  • 支持多种数据结构
  • 支持多种编程语言
  • 功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
  • 简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
  • 主从复制
  • 支持高可用和分布式
单线程为何如此快 ?
  • 纯内存
  • 非阻塞
  • 避免线程切换和竞态消耗

2.3 Redis应用场景 

  • Session 共享:常见于web集群中的Tomcat或者PHP中多web服务器session共享
  • 缓存:数据查询、电商网站商品信息、新闻内容
  • 计数器:访问排行榜、商品浏览数等和次数相关的数值统计场景
  • 微博/微信社交场合:共同好友,粉丝数,关注,点赞评论等
  • 消息队列:ELK的日志缓存、部分业务的订阅发布系统
  • 地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

2.4 缓存的实现流程 

数据更新操作流程
数据读操作流程

Redis的安装

3.1 rpm包方式安装

[root@redis-node1 ~] # dnf install redis -y
正在更新 Subscription Management 软件仓库。
无法读取客户身份
This system is not registered with an entitlement server. You can use "rhc" or
"subscription-manager" to register.
上次元数据过期检查: 0:01:14 前,执行于 2024 08 05 日 星期一 13 30 23 秒。
依赖关系解决。
=================================================================================
================================
软件包 架构 版本 仓库
大小
=================================================================================
================================
安装 :
redis x86_64 6 .2.7-1.el9
AppStream 1 .3 M
事务概要
=================================================================================
================================
安装 1 软件包
总计: 1.3 M
安装大小: 4.7 M

 3.2 源码安装

Attention!!!!::::在一台主机中不能即用rpm安装也用源码安装 
# 解压源码包
[root@redis-node1 ~] # tar zxf redis-7.4.0.tar.gz
[root@redis-node1 ~] # ls
redis-7.4.0 redis-7.4.0.tar.gz
# 安装编译工具
[root@redis-node1 redis-7.4.0] # dnf install make gcc initscripts-10.11.6-
1.el9.x86_64 -y
# 执行编译命令
[root@redis-node1 redis-7.4.0] # make
[root@redis-node1 redis-7.4.0] # make install
# 启动 Redis
[root@redis-node1 redis-7.4.0] # cd utils/
[root@redis-node1 utils] # ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
This systems seems to use systemd. # 提示系统使用的是 systemd 的初始化方式
Please take a look at the provided example service unit files in this directory,
and adapt and install them. Sorry
[root@redis-node1 utils] # vim install_server.sh # 解决报错问题
#bail if this system is managed by systemd
#_pid_1_exe="$(readlink -f /proc/1/exe)"
#if [ "${_pid_1_exe##*/}" = systemd ]
#then
# echo "This systems seems to use systemd."
# echo "Please take a look at the provided example service unit files in
this directory, and adapt and install them. Sorry!"
# exit 1
#fi
[root@redis-node1 utils] # ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] # 端口
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] # 配置
文件
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] # 日志 Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] # 数据
目录
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] # 命令
路径
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf = > /etc/init.d/redis_6379
Installing service ...
Successfully added to chkconfig!
Successfully added to runlevels 345 !
Starting Redis server...
Installation successful!
# 配置 redis
[root@redis-node1 utils] # vim /etc/redis/6379.conf
bind * - ::*
[root@redis-node1 utils] # /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
[root@redis-node1 utils] # netstat -antlpe | grep redis
tcp 0 0 0 .0.0.0:6379 0 .0.0.0:* LISTEN 0
67267 38417 /redis-server
tcp6 0 0 :::6379
# 查看信息
[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> info

#复制到其他机器
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.20:/root
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.30:/root
[root@redis-node1 ~]# cd /usr/local/bin/
[root@redis-node1 bin]# ll
total 29440
-rwxr-xr-x 1 root root  6374112 Aug 25 14:43 redis-benchmark
lrwxrwxrwx 1 root root       12 Aug 25 14:43 redis-check-aof -> redis-server
lrwxrwxrwx 1 root root       12 Aug 25 14:43 redis-check-rdb -> redis-server
-rwxr-xr-x 1 root root  7215976 Aug 25 14:43 redis-cli
lrwxrwxrwx 1 root root       12 Aug 25 14:43 redis-sentinel -> redis-server
-rwxr-xr-x 1 root root 16548768 Aug 25 14:43 redis-server
[root@redis-node1 bin]# rsync -al * root@172.25.254.20:/usr/local/bin
[root@redis-node1 bin]# rsync -al * root@172.25.254.30:/usr/local/bin

#node2\node3
[root@redis-node2 ~]# cd redis-7.4.0/
[root@redis-node2 redis-7.4.0]# dnf install initscripts -y
[root@redis-node2 redis-7.4.0]# cd utils/
[root@redis-node2 utils]# ./install_server.sh 
[root@redis-node2 utils]# vim /etc/redis/6379.conf 
bind * -::*
[root@redis-node2 utils]# /etc/init.d/redis_6379 restart

四:Redis 主从复制 

4.1:环境配置

redis-node1 master
redis-node2 slave
redis-node3 slave
Attention!!! 在配置多台 redis 时建议用复制的方式节省编译时间

4.2:配置主从同步

4.21.修改mastser节点的配置文件

[root@redis-node1 & node2 & node3 ~] # vim /etc/redis/6379.conf
protected-mode no # 关闭 protected 模式
[root@redis-node1 &node2 & node3 ~] # /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

 4.22.配置slave节点

[root@redis-node2 & 3 ~] # vim /etc/redis/6379.conf
replicaof 172 .25.254.100 6379
[root@redis-node2 & 3 ~] # /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...

4.23:测试效果 

# mastser 节点
[root@redis-node1 ~] # redis-cli
127 .0.0.1:6379> set name lee
OK
# slave 节点查看
[root@redis-node2 ~] # redis-cli
127 .0.0.1:6379> get name
"lee"

4.3:主从同步过程 

  • slave节点发送同步亲求到master节点
  • slave节点通过master节点的认证开始进行同步
  • master节点会开启bgsave进程发送内存rbdslave节点,在此过程中是异步操作,也就是说
  • master节点仍然可以进行写入动作
  • slave节点收到rdb后首先清空自己的所有数据
  • slave节点加载rdb并进行数据恢复
  • masterslave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
  • 然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到
  • slave

五:Redis的哨兵(高可用)

实验环境: 我们用主两从来实现 Redis 的高可用架构

5.1:Redis哨兵

sentinel 中的三个定时任务
  • 10秒每个sentinelmasterslave执行info
  1. 发现slave节点
  2. 确认主从关系
  • 2秒每个sentinel通过master节点的channel交换信息(pub/sub)
  1. 通过sentinel__:hello频道交互
  2. 交互对节点的看法和自身信息
  • 1秒每个sentinel对其他sentinelredis执行p

5.2:哨兵的实验过程

在所有阶段中关闭 protected-mode no
1.master节点中
# 编辑配置文件
[root@redis-node1 ~] # cd redis-7.4.0/
[root@redis-node1 redis-7.4.0] # cp sentinel.conf /etc/redis/
[root@redis-node1 redis-7.4.0] # vim /etc/redis/sentinel.conf
protected-mode no # 关闭保护模式
port 26379 # 监听端口
daemonize no # 进入不打如后台
pidfile /var/run/redis-sentinel.pid #sentinel 进程 pid 文件
loglevel notice # 日志级别
sentinel monitor mymaster 172 .25.254.10  6379 2 # 创建 sentinel 监控监控 master
机, 2 表示必须得到 2
sentinel down-after-milliseconds mymaster 10000 #master 中断时长, 10 秒连不上视为
master 下线
sentinel parallel-syncs mymaster 1 # 发生故障转移后,同时开始同步新
master 数据的 slave 数量
sentinel failover-timeout mymaster 180000 # 整个故障切换的超时时间为 3 分钟
#### 复制配置文件到其他阶段
[root@redis-node1 redis-7.4.0] # scp /etc/redis/sentinel.conf
root@172.25.254.20:/etc/redis/
root@172.25.254.20 's password:
sentinel.conf
100 % 14KB 9 .7MB/s 00 :00
[root@redis-node1 redis-7.4.0] # scp /etc/redis/sentinel.conf
root@172.25.254.30:/etc/redis/
root@172.25.254.30 's password:
sentinel.conf

2 启动服务 

[root@redis-node1 redis-7.4.0] # redis-sentinel /etc/redis/sentinel.conf
39319 :X 05 Aug 2024 20 :53:16.807 # WARNING Memory overcommit must be enabled!
Without it, a background save or replication may fail under low memory condition.
Being disabled, it can also cause failures without low memory condition, see
https://github.com/jemalloc/jemalloc/issues/1328. To fix this issue add
'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command
'sysctl vm.overcommit_memory=1' for this to take effect.
39319 :X 05 Aug 2024 20 :53:16.807 * oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
39319 :X 05 Aug 2024 20 :53:16.807 * Redis version = 7 .4.0, bits = 64 , commit = 00000000 ,
modified = 0 , pid = 39319 , just started
39319 :X 05 Aug 2024 20 :53:16.807 * Configuration loaded
39319 :X 05 Aug 2024 20 :53:16.808 * Increased maximum number of open files to
10032 (it was originally set to 1024 ).
39319 :X 05 Aug 2024 20 :53:16.808 * monotonic clock: POSIX clock_gettime
_._
_.- `` __ '' - ._
_.- `` `. ` _. '' - ._ Redis Community Edition
.- `` .- ```. ``` \/ _.,_ '' - ._ 7 .4.0 (00000000/0) 64 bit
( ' , .-` | `, ) Running in sentinel mode
| `-._` - ...- ` __...-.``-._|'` _.- '| Port: 26379
| `-._ ` ._ / _.- ' | PID: 39319
`-._ ` - ._ `-./ _.-' _.-'
| `-._` - ._ `-.__.-' _.-'_.-'|
| `-._` - ._ _.- '_.-' | https://redis.io
`-._ ` - ._ `-.__.-'_.-' _.-'
| `-._` - ._ `-.__.-' _.-'_.-'|
| `-._` - ._ _.- '_.-' |
`-._ ` - ._ `-.__.-'_.-' _.-'
`-._ ` - .__.- ' _.-'
`-._ _.-'
`-.__.-'
39319 :X 05 Aug 2024 20 :53:16.810 * Sentinel new configuration saved on disk
39319 :X 05 Aug 2024 20 :53:16.810 * Sentinel ID is
e568add863fd7c132e03f7a6ce2c5ef367d3bdae
39319 :X 05 Aug 2024 20 :53:16.810 # +monitor master mymaster 172.25.254.100 6379
quorum 2
39319 :X 05 Aug 2024 20 :53:16.811 * + slave slave 172 .25.254.10:6379
172 .25.254.201 6379 @ mymaster 172 .25.254.100 6379
39319 :X 05 Aug 2024 20 :53:16.812 * Sentinel new configuration saved on disk
39319 :X 05 Aug 2024 20 :53:16.812 * + slave slave 172 .25.254.200:6379
172 .25.254.200 6379 @ mymaster 172 .25.254.100 6379
39319 :X 05 Aug 2024 20 :53:16.813 * Sentinel new configuration saved on disk
39319 :X 05 Aug 2024 20 :53:41.769 * + sentinel sentinel
4fe1dcbe25a801e75d6edfc5b0a8517bfa7992c3 172 .25.254.200 26379 @ mymaster
172 .25.254.100 6379
39319 :X 05 Aug 2024 20 :53:41.771 * Sentinel new configuration saved on disk
39319 :X 05 Aug 2024 20 :53:57.227 * + sentinel sentinel
83f928aafe317a5f9081eea8fc5c383ff31c55ef 172 .25.254.201 26379 @ mymaster
172 .25.254.100 6379
39319 :X 05 Aug 2024 20 :53:57.229 * Sentinel new configuration saved on disk

Attention!!!!!/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件,如果需要重新做需要删掉文件重新编辑

测试:
在开一个 master 节点终端
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> SHUTDOWN

 [root@redis-node2 ~]# redis-cli

127.0.0.1:6379> info replications
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=172.25.254.201,port=6379,state=online,offset=211455,lag=1
slave1:ip=172.25.254.100,port=6379,state=online,offset=211455,lag=1
master_failover_state:no-failover
master_replid:d42fd72f3dfae94c84ca722ad1653417495ef4fd
master_replid2:290c3407108cc6120086981b7149a6fa377594c4
master_repl_offset:211598
second_repl_offset:185931
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:150986
repl_backlog_histlen:60613

5.3:在整个架构中可能会出现的问题 

问题:
在生产环境中如果 master slave 中的网络出现故障,由于哨兵的存在会把 master 提出去
当网络恢复后, master 发现环境发生改变, master 就会把自己的身份转换成 slave
master 变成 slave 后会把网络故障那段时间写入自己中的数据清掉,这样数据就丢失了。
解决:
master 在被写入数据时会持续连接 slave mater 确保有 2 slave 可以写入我才允许写入
如果 slave 数量少于 2 个便拒绝写入
# matster 中设定
[root@redis-node2 ~]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2
OK
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "2"
# 如果要永久保存写到配置文件中 /etc/redis/

 六:Redis Cluster(无中心化设计)

6.1 :Redis Cluster 工作原理

在哨兵 sentinel 机制中,可以解决 redis 高可用问题,即当 master 故障后可以自动将 slave 提升为 master , 从而可以保证redis 服务的正常使用,但是无法解决 redis 单机写入的瓶颈问题,即单机 redis 写入性能受 限于单机的内存大小、并发数量、网卡速率等因素。
redis 3.0 版本之后推出了无中心架构的 redis cluster 机制,在无中心的 redis 集群当中,其每个节点保存 当前节点数据和整个集群状态, 每个节点都和其他所有节点连接
Redis Cluster 特点如下
  1. 所有Redis节点使用(PING机制)互联
  2. 集群中某个节点的是否失效,是由整个集群中超过半数的节点监测都失效,才能算真正的失效
  3.  客户端不需要proxy即可直接连接redis,应用程序中需要配置有全部的redis服务器IP
  4.  redis cluster把所有的redis node 平均映射到 0-16383个槽位(slot)上,读写需要到指定的redis
  5. node上进行操作,因此有多少个redis node相当于redis 并发扩展了多少倍,每个redis node 承担
  6. 16384/N个槽位
  7. Redis cluster预先分配16384(slot)槽位,当需要在redis集群中写入一个key -value的时候,会使 用CRC16(key) mod 16384之后的值,决定将key写入值哪一个槽位从而决定写入哪一个Redis节点 上,从而有效解决单机瓶颈。

6.2:创建redis cluster的前提  

  1. 每个redis node节点采用相同的硬件配置、相同的密码、相同的redis版本。
  2. 每个节点必须开启的参数
  • cluster-enabled yes #必须开启集群状态,开启后redis进程会有cluster显示
  • cluster-config-file nodes-6380.conf #此文件有redis cluster集群自动创建和维护,不需要任何手动操作
  1. 所有redis服务器必须没有任何数据
  2. 先启动为单机redis且没有任何key value

6.3:部署redis cluster

在所有 redis 主机中
[root@redis-masterx ~] # vim /etc/redis/redis.conf
masterauth "123456" # 集群主从认证
requirepass "123456" #redis 登陆密码 redis-cli 命令连接 redis 后要
“auth 密码 进行认证
cluster-enabled yes # 开启 cluster 集群功能
cluster-config-file nodes-6379.conf # 指定集群配置文件
cluster-node-timeout 15000 # 节点加入集群的超时时间单位是 ms
[root@redis-master1 ~] # systemctl restart redis.service
[root@redis-master1 ~] # redis-cli
127 .0.0.1:6379> auth 123456
OK
127 .0.0.1:6379> info
# Cluster
cluster_enabled:1

6.4 :redis-cli --cluster 参数说明  

[root@redis-master1 ~] # redis-cli --cluster help
Cluster Manager Commands:
create host1:port1 ... hostN:portN # 创建集群
--cluster-replicas <arg> # 指定 master 的副本数
check <host:port> or <host> <port> # 检测集群信息
info <host:port> or <host> <port> # 查看集群信息
fix <host:port> or <host> <port> # 修复集群
reshard <host:port> or <host> <port> # 在线热迁移集群指定主机的 slots 数据
rebalance <host:port> or <host> <port> # 平衡各集群主机的 slot 数量
add-node new_host:new_port existing_host:existing_port # 添加主机
del-node host:port node_id # 删除主机
import host:port # 导入外部 redis 服务器的数据到
当前集群
-

6.5:创建redis-cluster  

[root@redis-master1 ~] # redis-cli --cluster create -a 123456 \
> 172 .25.254.10:6379 172 .25.254.20:6379 172 .25.254.30:6379 \
> 172 .25.254.110:6379 172 .25.254.120:6379 172 .25.254.130:6379 \
> --cluster-replicas 1
>>> Performing hash slots allocation on 6 nodes...
Master[0] - > Slots 0 - 5460 # 哈希槽分配
Master[1] - > Slots 5461 - 10922 Master[2] - > Slots 10923 - 16383
Adding replica 172 .25.254.120:6379 to 172 .25.254.10:6379 # 主从分配情况
Adding replica 172 .25.254.130:6379 to 172 .25.254.20:6379
Adding replica 172 .25.254.110:6379 to 172 .25.254.30:6379
M: 5ab2e93f4f0783983676f7bd118efaacfb202bd1 172 .25.254.10:6379
slots:[0-5460] (5461 slots) master
M: ba504e78f14df5944280f9035543277a0cf5976b 172 .25.254.20:6379
slots:[5461-10922] (5462 slots) master
M: 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7 172 .25.254.30:6379
slots:[10923-16383] (5461 slots) master
S: c20c9b5465b2e64868161c0e285d55bc81358ba4 172 .25.254.110:6379
replicates 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7
S: d458f34fa900d83212c021dc1e65396e490b5495 172 .25.254.120:6379
replicates 5ab2e93f4f0783983676f7bd118efaacfb202bd1
S: 83d7a82fe896cf9f4d8212cb533058659bba16ce 172 .25.254.130:6379
replicates ba504e78f14df5944280f9035543277a0cf5976b
Can I set the above configuration? (type 'yes' to accept): yes
>>> Performing Cluster Check (using node 172 .25.254.10:6379)
M: 5ab2e93f4f0783983676f7bd118efaacfb202bd1 172 .25.254.10:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
S: c20c9b5465b2e64868161c0e285d55bc81358ba4 172 .25.254.110:6379
slots: (0 slots) slave
replicates 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7
M: ba504e78f14df5944280f9035543277a0cf5976b 172 .25.254.20:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
S: 83d7a82fe896cf9f4d8212cb533058659bba16ce 172 .25.254.130:6379
slots: (0 slots) slave
replicates ba504e78f14df5944280f9035543277a0cf5976b
M: 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7 172 .25.254.30:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: d458f34fa900d83212c021dc1e65396e490b5495 172 .25.254.120:6379
slots: (0 slots) slave
replicates 5ab2e93f4f0783983676f7bd118efaacfb202bd1
[OK] All nodes agree about slots configuration.
>>> Check for open slots... # 检查打开的哈希槽位
>>> Check slots coverage... # 检查槽位覆盖范围
[OK] All 16384 slots covered. # 所有槽位分配完成
# 配置文件位置
[root@redis-master1 ~] # ll /var/lib/redis/nodes-6379.conf

检测redis集群状态

 [root@redis-master1 ~]# redis-cli -a 123456 --cluster info 172.25.254.10:6379

# 查看集群状态
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
172 .25.254.10:6379 (5ab2e93f...) - > 0 keys | 5461 slots | 1 slaves.
172 .25.254.20:6379 (ba504e78...) - > 0 keys | 5462 slots | 1 slaves. 172 .25.254.30:6379 (1fcaeb1d...) - > 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0 .00 keys per slot on average.
[root@redis-master1 ~] # redis-cli -a 123456 cluster info
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:821
cluster_stats_messages_pong_sent:801
cluster_stats_messages_sent:1622
cluster_stats_messages_ping_received:796
cluster_stats_messages_pong_received:821
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:1622
[root@redis-master1 ~] # redis-cli -a 123456 --cluster check 172.25.254.10:6379
# 检测集群
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
172 .25.254.10:6379 (5ab2e93f...) - > 0 keys | 5461 slots | 1 slaves.
172 .25.254.20:6379 (ba504e78...) - > 0 keys | 5462 slots | 1 slaves.
172 .25.254.30:6379 (1fcaeb1d...) - > 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0 .00 keys per slot on average.
>>> Performing Cluster Check (using node 172 .25.254.10:6379)
M: 5ab2e93f4f0783983676f7bd118efaacfb202bd1 172 .25.254.10:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
S: c20c9b5465b2e64868161c0e285d55bc81358ba4 172 .25.254.110:6379
slots: (0 slots) slave
replicates 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7
M: ba504e78f14df5944280f9035543277a0cf5976b 172 .25.254.20:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
S: 83d7a82fe896cf9f4d8212cb533058659bba16ce 172 .25.254.130:6379
slots: (0 slots) slave
replicates ba504e78f14df5944280f9035543277a0cf5976b
M: 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7 172 .25.254.30:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: d458f34fa900d83212c021dc1e65396e490b5495 172 .25.254.120:6379
slots: (0 slots) slave
replicates 5ab2e93f4f0783983676f7bd118efaacfb202bd1
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
写入数据
[root@redis-master1 ~] # redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
127 .0.0.1:6379> set key1 value1 # 被分配到 20 hash 槽位上
(error) MOVED 9189 172 .25.254.20:6379
[root@redis-master2 ~] # redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
127 .0.0.1:6379> set key1 value1
OK

6.6:集群扩容  

# 添加 master
[root@redis-master1 ~] # redis-cli -a 123456 --cluster add-node
172.25.254.40:6379 172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
>>> Adding node 172 .25.254.40:6379 to cluster 172 .25.254.10:6379
>>> Performing Cluster Check (using node 172 .25.254.10:6379)
M: 5ab2e93f4f0783983676f7bd118efaacfb202bd1 172 .25.254.10:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
S: c20c9b5465b2e64868161c0e285d55bc81358ba4 172 .25.254.110:6379
slots: (0 slots) slave
replicates 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7
M: ba504e78f14df5944280f9035543277a0cf5976b 172 .25.254.20:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
S: 83d7a82fe896cf9f4d8212cb533058659bba16ce 172 .25.254.130:6379
slots: (0 slots) slave
replicates ba504e78f14df5944280f9035543277a0cf5976b
M: 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7 172 .25.254.30:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: d458f34fa900d83212c021dc1e65396e490b5495 172 .25.254.120:6379
slots: (0 slots) slave
replicates 5ab2e93f4f0783983676f7bd118efaacfb202bd1
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Getting functions from cluster
>>> Failed retrieving Functions from the cluster, skip this step as Redis version
do not support function command (error = 'ERR unknown command `FUNCTION`, with
args beginning with: `DUMP`, ' ) >>> Send CLUSTER MEET to node 172 .25.254.40:6379 to make it join the cluster.
[OK] New node added correctly.
[root@redis-master1 ~] # redis-cli -a 123456 --cluster info 172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
172 .25.254.10:6379 (5ab2e93f...) - > 0 keys | 5461 slots | 1 slaves.
172 .25.254.40:6379 (009571cb...) - > 0 keys | 0 slots | 0 slaves.
172 .25.254.20:6379 (ba504e78...) - > 1 keys | 5462 slots | 1 slaves.
172 .25.254.30:6379 (1fcaeb1d...) - > 0 keys | 5461 slots | 1 slaves.
[OK] 1 keys in 4 masters.
0 .00 keys per slot on average.
# 分配槽位
[root@redis-master1 ~] # redis-cli -a 123456 --cluster reshard
172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
>>> Performing Cluster Check (using node 172 .25.254.10:6379)
M: 5ab2e93f4f0783983676f7bd118efaacfb202bd1 172 .25.254.10:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
S: c20c9b5465b2e64868161c0e285d55bc81358ba4 172 .25.254.110:6379
slots: (0 slots) slave
replicates 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7
M: 009571cb206a89afa6658b60b2d403136056ac09 172 .25.254.40:6379
slots: (0 slots) master
M: ba504e78f14df5944280f9035543277a0cf5976b 172 .25.254.20:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
S: 83d7a82fe896cf9f4d8212cb533058659bba16ce 172 .25.254.130:6379
slots: (0 slots) slave
replicates ba504e78f14df5944280f9035543277a0cf5976b
M: 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7 172 .25.254.30:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
S: d458f34fa900d83212c021dc1e65396e490b5495 172 .25.254.120:6379
slots: (0 slots) slave
replicates 5ab2e93f4f0783983676f7bd118efaacfb202bd1
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384 )? 4096
What is the receiving node ID? 009571cb206a89afa6658b60b2d403136056ac09
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1: all
# 添加 salve 7.7 clsuter 集群维护
添加节点的时候是先添加 node 节点到集群,然后分配槽位,删除节点的操作与添加节点的操作正好相
反,是先将被删除的 Redis node 上的槽位迁移到集群中的其他 Redis node 节点上,然后再将其删除,如
果一个 Redis node 节点上的槽位没有被完全迁移,删除该 node 的时候会提示有数据且无法删除。
[root@redis-master1 ~] # redis-cli -a 123456 --cluster add-node
172.25.254.140:6379 172.25.254.10:6379 --cluster-slave --cluster-master-id
009571cb206a89afa6658b60b2d403136056ac09
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
>>> Adding node 172 .25.254.140:6379 to cluster 172 .25.254.10:6379
>>> Performing Cluster Check (using node 172 .25.254.10:6379)
M: 5ab2e93f4f0783983676f7bd118efaacfb202bd1 172 .25.254.10:6379
slots:[1365-5460] (4096 slots) master
1 additional replica(s)
S: c20c9b5465b2e64868161c0e285d55bc81358ba4 172 .25.254.110:6379
slots: (0 slots) slave
replicates 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7
M: 009571cb206a89afa6658b60b2d403136056ac09 172 .25.254.40:6379
slots:[0-1364],[5461-6826],[10923-12287] (4096 slots) master
M: ba504e78f14df5944280f9035543277a0cf5976b 172 .25.254.20:6379
slots:[6827-10922] (4096 slots) master
1 additional replica(s)
S: 83d7a82fe896cf9f4d8212cb533058659bba16ce 172 .25.254.130:6379
slots: (0 slots) slave
replicates ba504e78f14df5944280f9035543277a0cf5976b
M: 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7 172 .25.254.30:6379
slots:[12288-16383] (4096 slots) master
1 additional replica(s)
S: d458f34fa900d83212c021dc1e65396e490b5495 172 .25.254.120:6379
slots: (0 slots) slave
replicates 5ab2e93f4f0783983676f7bd118efaacfb202bd1
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 172 .25.254.140:6379 to make it join the cluster.
Waiting for the cluster to join
>>> Configure node as replica of 172 .25.254.40:6379.
[OK] New node added correctly.

 6.7:clsuter集群维护

添加节点的时候是先添加 node 节点到集群,然后分配槽位,删除节点的操作与添加节点的操作正好相 反,是先将被删除的Redis node 上的槽位迁移到集群中的其他 Redis node 节点上,然后再将其删除,如 果一个Redis node 节点上的槽位没有被完全迁移,删除该 node 的时候会提示有数据且无法删除。
# 移除要下线主机的哈希槽位
[root@redis-master2 ~] # redis-cli -a 123456 --cluster reshard 172.25.254.20:6379
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
>>> Performing Cluster Check (using node 172 .25.254.20:6379)
M: ba504e78f14df5944280f9035543277a0cf5976b 172 .25.254.20:6379
slots:[6827-10922] (4096 slots) master
1 additional replica(s)
M: 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7 172 .25.254.30:6379
slots:[12288-16383] (4096 slots) master
1 additional replica(s) M: 009571cb206a89afa6658b60b2d403136056ac09 172 .25.254.40:6379
slots:[0-1364],[5461-6826],[10923-12287] (4096 slots) master
1 additional replica(s)
S: c20c9b5465b2e64868161c0e285d55bc81358ba4 172 .25.254.110:6379
slots: (0 slots) slave
replicates 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7
S: d458f34fa900d83212c021dc1e65396e490b5495 172 .25.254.120:6379
slots: (0 slots) slave
replicates 5ab2e93f4f0783983676f7bd118efaacfb202bd1
M: 5ab2e93f4f0783983676f7bd118efaacfb202bd1 172 .25.254.10:6379
slots:[1365-5460] (4096 slots) master
1 additional replica(s)
S: 83d7a82fe896cf9f4d8212cb533058659bba16ce 172 .25.254.130:6379
slots: (0 slots) slave
replicates ba504e78f14df5944280f9035543277a0cf5976b
S: 86a4a8fb08e70e41b5a30f829deb983d23854ea7 172 .25.254.140:6379
slots: (0 slots) slave
replicates 009571cb206a89afa6658b60b2d403136056ac09
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384 )? 4096
What is the receiving node ID? 1fcaeb1dd936b46f4ea1efe4330c54195e66acf7
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1: 5ab2e93f4f0783983676f7bd118efaacfb202bd1
Source node #2: done
# 删除 master
[root@redis-master2 ~] # redis-cli -a 123456 --cluster del-node
172.25.254.120:6379 d458f34fa900d83212c021dc1e65396e490b5495
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
>>> Removing node d458f34fa900d83212c021dc1e65396e490b5495 from cluster
172 .25.254.120:6379
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node .
[root@redis-master2 ~] # redis-cli -a 123456 --cluster del-node
172.25.254.10:6379 5ab2e93f4f0783983676f7bd118efaacfb202bd1
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
>>> Removing node 5ab2e93f4f0783983676f7bd118efaacfb202bd1 from cluster
172 .25.254.10:6379
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node .

这篇关于全网最最最最详细的企业级NoSql数据库Redis集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1110453

相关文章

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

MySQL数据库宕机,启动不起来,教你一招搞定!

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等)公众号:老苏畅谈运维欢迎关注本人公众号,更多精彩与您分享。 MySQL数据库宕机,数据页损坏问题,启动不起来,该如何排查和解决,本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志,排查哪个表(表空间

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

沁恒CH32在MounRiver Studio上环境配置以及使用详细教程

目录 1.  RISC-V简介 2.  CPU架构现状 3.  MounRiver Studio软件下载 4.  MounRiver Studio软件安装 5.  MounRiver Studio软件介绍 6.  创建工程 7.  编译代码 1.  RISC-V简介         RISC就是精简指令集计算机(Reduced Instruction SetCom

深入理解数据库的 4NF:多值依赖与消除数据异常

在数据库设计中, "范式" 是一个常常被提到的重要概念。许多初学者在学习数据库设计时,经常听到第一范式(1NF)、第二范式(2NF)、第三范式(3NF)以及 BCNF(Boyce-Codd范式)。这些范式都旨在通过消除数据冗余和异常来优化数据库结构。然而,当我们谈到 4NF(第四范式)时,事情变得更加复杂。本文将带你深入了解 多值依赖 和 4NF,帮助你在数据库设计中消除更高级别的异常。 什么是

arduino ide安装详细步骤

​ 大家好,我是程序员小羊! 前言: Arduino IDE 是一个专为编程 Arduino 微控制器设计的集成开发环境,使用起来非常方便。下面将介绍如何在不同平台上安装 Arduino IDE 的详细步骤,包括 Windows、Mac 和 Linux 系统。 一、在 Windows 上安装 Arduino IDE 1. 下载 Arduino IDE 打开 Arduino 官网