Centos 6.5 redis cluster集群搭建

2024-08-22 14:58

本文主要是介绍Centos 6.5 redis cluster集群搭建,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Centos 6.5 redis cluster集群搭建

参考文章:Redis 学习笔记(十四)Redis Cluster介绍与搭建

前言

对于redis集群的创建,总体来说可以分为两种方式:

1.

使用redis replication功能对redis进行复制,同时对于主从进行读写分离。使用redis sentinel保证redis集群的高可用性。

这种方式有以下优点:

  • 可支持横向扩容,当吞吐量峰值更高时,可以通过扩容slave节点,能支撑更高的读QPS

但是也有以下缺点:

  • 通常情况下是一个master节点,即便做了读写分离,最多只能支撑几万的写QPS(简单的数据结构情况下,更复杂的数据可能更低)
  • 做读写分离的时候,redis客户端(比如jedis)对于这方面的读写分离支持不足。可能需要拓展和封装,或者修改源码
  • 做横向扩容的时候,需要注意不能采取星状机构,需要采取树状结构(星状结构会导致master节点挂载很多slave节点,做数据复制的时候对master节点压力大)
  • 需要维护一套sentinel集群来达到高可用目的

2.

redis 3.0版本推出了redis cluster。有效解决了redis分布式方面的需求。redis cluster集合了replication,sentinel功能,同时支持多master的横向扩容。可以很好的解决流量瓶颈方面的问题。使用redis cluster可以突破流量瓶颈。

相对来说,redis cluster是一个分布式解决方案。但是也有以下的功能限制:

  • key批量操作支持有限。目前只支持具有相同slot值的key执行批量操作
  • key事务操作支持有限,支持在同一个节点上的事务操作,不支持多个节点的事务。

本篇文章对于redis cluster的一些基础知识进行介绍以及如何搭建一个redis cluster集群。

数据分布理论

分布式数据库首要解决把数据按照某种规则映射到多个节点的问题,每个节点负责整个数据的一个子集。常见的分区有哈希分区和顺序分区。redis cluster采取哈希分区规则。常见的哈希分区有以下几种:

  • 节点取余分区
  • 一致性哈希分区
  • 虚拟槽分区

redis cluster采用了虚拟槽分区,所有的键根据哈希函数映射到0-16383slot中,计算公式为:slot = CRC16(key)&16383.每个节点负责维护一部分slot以及slot所映射的键值数据。

搭建redis cluster

环境
  • CentOs 6.5
  • Redis 4.0.9 (2018/4/10最新版本)
节点

redis cluster集群一般由多个节点组成,节点数量为6个以上才能保证高可用的集群。

这里列出一个节点的配置
复制redis目录下的utils/redis_init_scriptredis_7000:

修改以下内容:

REDISPORT=7000

然后把该文件拷贝到/etc/init.d/目录下。

拷贝redis目录下的redis.conf/etc/redis/7000.conf,修改以下内容:

port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
daemonize yes
pidfile  /var/run/redis_7000.pid
dir      /var/reids/7000
logfile  /var/log/redis/7000.log
bind 192.168.1.103 //本机IP地址
appendonly yes

然后创建以下文件夹:

  • /var/redis/7000
  • /var/log/redis/

然后去到/etc/init.d/目录下面执行./redis_7000 start命令启动一个redis实例。通过查看/var/log/redis/7000.log查看是否启动成功。

按照上面的方法部署6个实例。如果6个实例都在不同的机器上的话,直接复制配置文件过去即可。如果一台机器跑2个或以上的实例,则需要注意修改端口号。

假如你用于测试,所有的节点都跑在同一台机器上面,配置文件可以改成下面这样:

port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 39.10X.XX.XX //自己服务器IP
cluster-announce-port 7000
cluster-announce-bus-port 17000
daemonize yes
pidfile  /var/run/redis_7000.pid
dir      /var/reids/7000
logfile  /var/log/redis/7000.log
appendonly yes

将6个redis实例跑起来之后就可以了。目前redis的集群已经跑起来,但是还无法工作。

创建集群

创建集群使用ruby相关的工具,则需要执行以下命令安装ruby:

yum install -y ruby
yum install -y rubygems
gem install redis

在执行gem install redis是时候如果爆出如下错误:

 gem install redis
ERROR:  Error installing redis:redis requires Ruby version >= 2.2.2.

这是由于系统为centos 6.5默认安装的Ruby版本为1.8.7所以需要升级到2.2.2以上。

执行以下命令:

gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3curl -L get.rvm.io | bash -s stablesource /usr/local/rvm/scripts/rvm# 查看可用的ruby版本
rvm list known# 安装2.3.4版本
rvm install 2.3.4# 设置默认版本
rvm use 2.3.4gem install redis

这样就可以成功安装了。安装完了之后,复制redis目录下的src/redis-trib.rb文件到/usr/local/bin中。

然后使用如下方式创建集群:

redis-trib.rb create --replicas 1 192.168.1.103:7000 \
192.168.1.103:7001 192.168.1.104:7002 192.168.1.104:7003 \
192.168.1.105:7004 192.168.1.105:7005

执行过程中会询问你是否可以分配slot,输入yes.

其中参数--replicas表示每个master有一个slave,如果没有什么意外的话,redis集群以及搭建完毕。可以通过以下命令检查集群的状态:

redis-trib.rb check 192.168.1.103:7001

这篇关于Centos 6.5 redis cluster集群搭建的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096596

相关文章

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域

redis+lua实现分布式限流的示例

《redis+lua实现分布式限流的示例》本文主要介绍了redis+lua实现分布式限流的示例,可以实现复杂的限流逻辑,如滑动窗口限流,并且避免了多步操作导致的并发问题,具有一定的参考价值,感兴趣的可... 目录为什么使用Redis+Lua实现分布式限流使用ZSET也可以实现限流,为什么选择lua的方式实现

Redis中管道操作pipeline的实现

《Redis中管道操作pipeline的实现》RedisPipeline是一种优化客户端与服务器通信的技术,通过批量发送和接收命令减少网络往返次数,提高命令执行效率,本文就来介绍一下Redis中管道操... 目录什么是pipeline场景一:我要向Redis新增大批量的数据分批处理事务( MULTI/EXE

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Redis中的常用的五种数据类型详解

《Redis中的常用的五种数据类型详解》:本文主要介绍Redis中的常用的五种数据类型详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis常用的五种数据类型一、字符串(String)简介常用命令应用场景二、哈希(Hash)简介常用命令应用场景三、列表(L

Redis解决缓存击穿问题的两种方法

《Redis解决缓存击穿问题的两种方法》缓存击穿问题也叫热点Key问题,就是⼀个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击,本文给大家介绍了Re... 目录引言解决办法互斥锁(强一致,性能差)逻辑过期(高可用,性能优)设计逻辑过期时间引言缓存击穿:给