NoSql数据库Redis集群

2024-08-26 23:12
文章标签 集群 redis nosql 数据库

本文主要是介绍NoSql数据库Redis集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

-----------------第一部分----------------

一.关系型数据库和Nosql数据库

关系型数据库,是建立在关系模型基础上的数据库,借助于数学思维来处理数据库 中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库

NoSQL 数据库,全称为 Not Only SQL,不适 用的时候也没有必要非使用关系型数据库不可,可以考虑使用更加合适的数据存储。主要分为临时性键 值存储(memcached、Redis)、永久性键值存储(ROMA、Redis)、面向文档的数据库 (MongoDB、CouchDB)、面向列的数据库(Cassandra、HBase),每种 NoSQL 都有其特有的使用 场景及优点。redis还提供了易扩展、高性能、具备数据持久性等功能。 Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛(比如直播平台,排行榜等)

二.为什么使用Nosql数据库

随着互联网发展,数据量越来越大,对性能要求越来越高,传统数据库存单机(单库)扩展困难查找速度慢。无法满足 日益增长的海量数据存储及其性能要求,所以才会出现了各种不同的 NoSQL 产品,NoSQL 根本性的优 势在于在云计算时代,简单、易于大规模分布式扩展,并且读写性能非常高

redis特性:速度快(基于内存,单线程),持久化(RDB,AOF),开发容易,不依赖外部库,主从复制,扩容,支持高可用和分布式

为什么单线程快?纯内存,非阻塞,避免了线程的切换和竞争消耗

应用场景:

缓存:数据查询、电商网站商品信息、新闻内容

计数器:访问排行榜、商品浏览数等和次数相关的数值统计场景

微博/微信社交场合:共同好友,粉丝数,关注,点赞评论等

消息队列:ELK的日志缓存、部分业务的订阅发布系统

地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

三.关系型数据库和Nosql数据库的对比

 四.面试题

----------------第二部分-------------------

一.源码安装redis(rhel9.1)

#源码安装
[root@server1 ~]# dnf install make gcc initscripts-10.11.6-1.el9.x86_64 -y
[root@server1 ~]# tar xf redis-7.4.0.tar.gz
[root@server1 ~]# cd redis-7.4.0/
[root@server1 redis-7.4.0]# make
[root@server1 redis-7.4.0]# make install
[root@server1 redis-7.4.0]# cd utils/
[root@server1 utils]# vim install_server.sh
#bail if this system is managed by systemd
#_pid_1_exe="$(readlink -f /proc/1/exe)"
#if [ "${_pid_1_exe##*/}" = systemd ]
#then
#       echo "This systems seems to use systemd."
#       echo "Please take a look at the provided example service unit files in 
this directory, and adapt and install them. Sorry!"
#       exit 1
#fi[root@server1 utils]# ./install_server.sh(6379端口)
[root@server1 utils]# vim /etc/redis/6379.conf
bind * -::*
注:也可以关闭下面的保护模式yes变为no
[root@server1 utils]# /etc/init.d/redis_6379 restart
[root@server1 utils]# netstat -nltup \ grep redis
[root@server1 utils]# redis-cli
127.0.0.1:6379> info
若是源码想要安装下一台虚拟机
注意权限问题即可
#复制编译好的redis目录和二进制命令
[root@server1 ~]# scp -r /usr/local/bin/* root@172.25.254.162:/usr/local/bin/
[root@server1 ~]# scp -r redis-7.4.0 root@172.25.254.162:/root[root@server3 ~]# yum install make gcc initscripts-10.11.6-1.el9.x86_64 -y
[root@server3 ~]# cd redis-7.4.0/
[root@server3 redis-7.4.0]# cd utils/
[root@server3 utils]# ./install_server.sh
[root@server3 utils]# vim /etc/redis/6379.conf
bind * -::*
#保护进程改为no,改不改都行(决定用不用密码登录)
[root@server3 utils]# /etc/init.d/redis_6379 restart
[root@server3 utils]# redis-cli
127.0.0.1:6379> quit

二.主从复制

一主两从

slave发送同步请求到master,master认证后,开启一个进程把内存中的数据发送到slave,slave清空自己的数据加载新的数据进行同步,同时master对于新写入的数据会开启一个新进程对其进行缓存,然后通过函数把这些数据一条一条写入到slave中。

配置过程:

vim /etc/redis/6379.conf
protected-mode no #关闭protected模式
/etc/init.d/redis_6379 restart
root@redis-server2 & 3 ~]# vim /etc/redis/6379.conf
replicaof 172.25.254.160 6379
[root@redis-server2 & 3 ~]# /etc/init.d/redis_6379 restart

 测试:

 三:redis哨兵(高可用)

Sentinel 进程是用于监控redis集群中Master主服务器工作的状态,在Master主服务器发生故障的时候, 可以实现Master和Slave服务器的切换,保证系统的高可用

每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息,以确认对方是否”活” 着,如果发现对方在指定配置时间(此项可配置)内未得到回应,则主观认为对方已离线,当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的 判断则认为master客观下线,会通过一定的选举算法,从剩下的slave从服务器节点中,选一台提升为Master服务器节点,然后自动修改 相关配置,并开启故障转移(failover),Sentinel 机制可以解决master和slave角色的自动切换问题,但单个 Master 的性能瓶颈问题无法解决,类 似于MySQL中的MHA功能

3.1.部署实现

环境:一主两从:master(160),slave(161,162)

[root@server1 ~]# cd redis-7.4.0/
[root@server1 redis-7.4.0]# cp sentinel.conf /etc/redis/
[root@server1 redis-7.4.0]# vim /etc/redis/sentinel.conf
sentinel monitor mymaster 172.25.254.160 6379 2
sentinel down-after-milliseconds mymaster 10000 [root@server1 redis-7.4.0]# scp /etc/redis/sentinel.conf root@172.25.254.161:/etc/redis/
[root@server1 redis-7.4.0]# scp /etc/redis/sentinel.conf root@172.25.254.162:/etc/redis/
备份,文件在哨兵调用时会更改配置文件,需要重新做的话得删除文件重新编辑,方便后续恢复就备份下
[root@server1 redis-7.4.0]#scp /etc/redis/sentinel.conf /etc/redis/sentinel.conf.bak
#启动监听服务[root@server1 redis-7.4.0]# redis-sentinel /etc/redis/sentinel.conf
[root@server2 redis-7.4.0]# redis-sentinel /etc/redis/sentinel.conf
[root@server3 redis-7.4.0]# redis-sentinel /etc/redis/sentinel.conf

 模拟master故障,实现自动切换,故障恢复,会以slave的身份加入集群

在生产环境中如果master和slave中的网络出现故障,由于哨兵的存在会把master提出去 当网络恢复后,master发现环境发生改变,master就会把自己的身份转换成slave master变成slave后会把网络故障那段时间写入自己中的数据清掉,这样数据就丢失了。因此,master在被写入数据时会持续连接slave,mater确保有2个slave可以写入我才允许写入 如果slave数量少于2个便拒绝写入

#在matster中设定

[root@redis-node2 ~]# redis-cli

127.0.0.1:6379> CONFIG GET min-slaves-to-write

1) "min-slaves-to-write"

2) "0"

127.0.0.1:6379> CONFIG set min-slaves-to-write 2

OK

127.0.0.1:6379> CONFIG GET min-slaves-to-write

1) "min-slaves-to-write"

2) "2"

#如果要永久保存写到配置文件中/etc/redis/6379.conf

四.Redis Cluster

4.1.工作原理

在哨兵sentinel机制中,可以解决redis高可用问题,即当master故障后可以自动将slave提升为master, 从而可以保证redis服务的正常使用,但是无法解决redis单机写入的瓶颈问题,即单机redis写入性能受 限于单机的内存大小、并发数量、网卡速率等因素。

Redis Cluster特点如下

1. 所有Redis节点使用(PING机制)互联

2. 集群中某个节点的是否失效,是由整个集群中超过半数的节点监测都失效,才能算真正的失效

3. 客户端不需要proxy即可直接连接redis,应用程序中需要配置有全部的redis服务器IP

4. redis cluster把所有的redis node 平均映射到 0-16383个槽位(slot)上,读写需要到指定的redis node上进行操作,因此有多少个redis node相当于redis 并发扩展了多少倍,每个redis node 承担 16384/N个槽位

5. Redis cluster预先分配16384个(slot)槽位,当需要在redis集群中写入一个key -value的时候,会使 用CRC16(key) mod 16384之后的值,决定将key写入值哪一个槽位从而决定写入哪一个Redis节点 上,从而有效解决单机瓶颈。

 

Redis cluster的架构虽然解决了并发的问题,但是又引入了一个新的问题,每个Redis master的高可用 如何解决? 那就是对每个master 节点都实现主从复制,从而实现 redis 高可用性

4.2.部署三主三从

make uninstall

yum install redis -y (8台主机)其中有两台是后面添加节点要用的

八台主机都做,先开启集群功能
[root@server4 ~]# vim /etc/redis/redis.conf
masterauth "123456" #集群主从认证
requirepass "123456" #redis登陆密码 redis-cli 命令连接redis后要
cluster-enabled yes #开启cluster集群功能
cluster-config-file nodes-6379.conf #指定集群配置文件
cluster-node-timeout 15000 #节点加入集群的超时时间单位是ms[root@server4 ~]# systemctl restart redis.service
[root@server4 ~]# redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface
127.0.0.1:6379> info# Cluster
cluster_enabled:1

创建集群:

[root@server1 ~]# redis-cli --cluster create -a 123456 \
> 172.25.254.160:6379 172.25.254.161:6379 172.25.254.162:6379 \
> 172.25.254.170:6379 172.25.254.171:6379 172.25.254.172:6379 \
> --cluster-replicas 1检测集群状态:
[root@server1 ~]# redis-cli -a 123456 --cluster info 172.25.254.160:6379
检测集群:
[root@master1 ~]# redis-cli -a 123456 --cluster check 172.25.254.10:6379 写入数据:
[root@server1 ~]# redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface 
may not be safe.
127.0.0.1:6379> set key1 value1 #被分配到20的hash槽位上
(error) MOVED 9189 172.25.254.161:6379 
[root@server2 ~]# redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface 
may not be safe.
127.0.0.1:6379> set key1 value1
OK

4.3 集群扩容

添加master-----分配卡槽-------添加slave

#添加master
[root@redis-master1 ~]# redis-cli -a 123456 --cluster add-node 
172.25.254.163:6379 172.25.254.160:6379#分配槽位
[root@server1 ~]# redis-cli -a 123456 --cluster reshard 172.25.254.160:6379从所有节点分配4096个节点
How many slots do you want to move (from 1 to 16384)? 4096
What is the receiving node ID? 009571cb206a89afa6658b60b2d403136056ac09
Please enter all the source node IDs.Type 'all' to use all the nodes as source nodes for the hash slots.Type 'done' once you entered all the source nodes IDs.
Source node #1: all#添加salve 
[root@server1 ~]# redis-cli -a 123456 --cluster add-node 
172.25.254.173:6379 172.25.254.160:6379 --cluster-slave --cluster-master-id 
009571cb206a89afa6658b60b2d403136056ac09(163的ID)clsuter集群维护 
添加节点的时候是先添加node节点到集群,然后分配槽位,删除节点的操作与添加节点的操作正好相
反,是先将被删除的Redis node上的槽位迁移到集群中的其他Redis node节点上,然后再将其删除,如
果一个Redis node节点上的槽位没有被完全迁移,删除该node的时候会提示有数据且无法删除。

 

 

4.4.集群缩容

移除slave-----移除卡槽----删除master

redis-cli -a 123456 --cluster del-node 172.25.254.173:6379 346d30e01cea68                                9839f9fd494ed185984f7b5254

 

#移除master163:
redis-cli -a 123456 --cluster del-node 172.25.254.163:6379 b8958a8d135074                                d7b9c31652461ae7430bc4dc48检查集群状态
##redis-cli -a 123456 --cluster check 172.25.254.160:6379

 

这篇关于NoSql数据库Redis集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1109952

相关文章

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

Oracle数据库常见字段类型大全以及超详细解析

《Oracle数据库常见字段类型大全以及超详细解析》在Oracle数据库中查询特定表的字段个数通常需要使用SQL语句来完成,:本文主要介绍Oracle数据库常见字段类型大全以及超详细解析,文中通过... 目录前言一、字符类型(Character)1、CHAR:定长字符数据类型2、VARCHAR2:变长字符数

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

mysql数据库重置表主键id的实现

《mysql数据库重置表主键id的实现》在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,本文主要介绍了mysql数据库重置表主键id的实现,具有一定的参考价值,感兴趣的可以了... 目录关键语法演示案例在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,当我们

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Spring Boot 整合 MyBatis 连接数据库及常见问题

《SpringBoot整合MyBatis连接数据库及常见问题》MyBatis是一个优秀的持久层框架,支持定制化SQL、存储过程以及高级映射,下面详细介绍如何在SpringBoot项目中整合My... 目录一、基本配置1. 添加依赖2. 配置数据库连接二、项目结构三、核心组件实现(示例)1. 实体类2. Ma