Twemproxy-缓存代理分片机制

2023-10-18 07:30
文章标签 代理 缓存 机制 分片 twemproxy

本文主要是介绍Twemproxy-缓存代理分片机制，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

资料参考:
(1) http://www.cnblogs.com/gomysql/p/4413922.html
常用命令：
nutcracker.init {start|stop|status|restart|reload|condrestart}
nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/redisproxy.log

 

1.介绍

1.1 一句话介绍Twemproxy是一个Redis/Memcached代理中间件，可以实现诸如分片逻辑、HashTag、减少连接数等功能；尤其在有大量应用服务器的场景下Twemproxy的角色就凸显了，能有效减少连接数。

1.2 特点

Twemproxy是一种代理分片机制，由Twitter开源。

Twemproxy作为代理，可接受来自多个程序的访问，按照路由规则，转发给后台的各个Redis服务器，再原路返回。该方案很好的解决了单个Redis实例承载能力的问题，通过Twemproxy可以使用多台服务器来水平扩张redis服务，可以有效的避免单点故障问题

当然，Twemproxy本身也是单点，需要用Keepalived做高可用方案。

虽然使用Twemproxy需要更多的硬件资源和在redis性能有一定的损失（twitter测试约20%），但是能够提高整个系统的HA也是相当划算的。

twemproxy不光实现了redis协议，还实现了memcached协议，什么意思？换句话说，twemproxy不光可以代理redis，还可以代理memcached，官方说明：

twemproxy (pronounced "two-em-proxy"), aka nutcracker is a fast and lightweight proxy for memcachedand redis protocol. It was built primarily to reduce the number of connections to the caching servers on the backend. This, together with protocol pipeling and sharding enables you to horizontally scale your distributed caching architecture.

 

Twemproxy架构：

 

 

 通常会结合keepalived来实现Twemproxy的高可用。架构图如下：



 

 

 

 

2.安装、配置与启动

 

2.1环境准备：

>>安装路径 /usr/local/twemproxy

>>需要安装autoconf、automake、libtool工具

说明：twemproxy的安装要求autoconf的版本在2.64以上，否则提示"error: Autoconf version 2.64 or higher is required"。

使用以下命令下载的autoconf版本如果小于2.64，方案如下：

(1) 查询当前版本  rpm -qf /usr/bin/autoconf

autoconf-2.63-5.1.el6.noarch

(2) 卸载当前版本  rpm -e --nodeps autoconf-2.63-5.1.el6.noarch

(3) 安装最新版本

[root@BobServerStation twemproxy]# wget ftp://ftp.gnu.org/gnu/autoconf/autoconf-2.68.tar.gz

[root@BobServerStation twemproxy]# tar zxvf autoconf-2.68.tar.gz

[root@BobServerStation twemproxy]# cd autoconf-2.68

[root@BobServerStation twemproxy]# ./configure --prefix=/usr/

[root@BobServerStation twemproxy]# make && make install

 

[ubuntu]

apt-get install autoconf automake  

apt-get install libtool

 

[centos]

#autoconf这一步使用此命令装的版本是小于2.64的，需要上面的方法安装

yum -y install autoconf

yum -y install automake

yum -y install libtool

 

2.2 安装及配置

2.2.1安装

cd /usr/local

wget https://github.com/twitter/twemproxy/archive/v0.4.0.tar.gz  

tar -xvf v0.4.0.tar.gz    

cd twemproxy-0.4.0/ 

autoreconf -fvi

mkdir /usr/local/twemproxy

./configure --prefix=/usr/local/twemproxy
make -j 8
make install

注意:如上安装方式在有些服务器上可能在大量如mset时可能导致Twemproxy崩溃，需要使用如 CFLAGS="-O1" ./configure && make或CFLAGS="-O3 -fno-strict-aliasing" ./configure && make安装。

 

2.2.2配置变量

#设置环境变量：
echo "PATH=$PATH:/usr/local/twemproxy/sbin/" >> /etc/profile
source /etc/profile

 

#创建目录

cd /usr/local/twemproxy
mkdir run conf

 

#添加proxy配置文件
vi /usr/local/twemproxy/conf/nutcracker.yml

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1
   - 192.168.1.107:6379:1

   - 192.168.1.108:6379:1

 

#把conf目录复制到/usr/local/twemproxy/sbin/目录下

cp -r  /usr/local/twemproxy-0.4.0/conf /usr/local/twemproxy/sbin/

 

2.3启动及测试

（1）启动命令：nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/redisproxy.log

Options:
-h, –help                        : 查看帮助文档，显示命令选项
-V, –version                     : 查看nutcracker版本
-t, –test-conf                   : 测试配置脚本的正确性
-d, –daemonize                   : 以守护进程运行
-D, –describe-stats              : 打印状态描述
-v, –verbosity=N                 : 设置日志级别 (default: 5, min: 0, max: 11)
-o, –output=S                    : 设置日志输出路径，默认为标准错误输出 (default: stderr)
-c, –conf-file=S                 : 指定配置文件路径 (default: conf/nutcracker.yml)
-s, –stats-port=N                : 设置状态监控端口，默认22222 (default: 22222)
-a, –stats-addr=S                : 设置状态监控IP，默认0.0.0.0 (default: 0.0.0.0)
-i, –stats-interval=N            : 设置状态聚合间隔 (default: 30000 msec)
-p, –pid-file=S                  : 指定进程pid文件路径，默认关闭 (default: off)
-m, –mbuf-size=N                 : 设置mbuf块大小，以bytes单位 (default: 16384 bytes)

 

（2）查看是否启动成功
ps -ef | grep nutcracker | grep -v grep

ps aux | grep nutcracker  

 

（3）简单测试

redis-cli  -p 1111 

127.0.0.1:1111> set i 1  

OK  

127.0.0.1:1111> get i  

"1"  

Twemproxy文档请参考https://github.com/twitter/twemproxy。到此基本的安装就完成了。接下来做一些介绍。

 

（4）配置启动/重启/停止脚本方便操作

# cp /usr/local/twemproxy-0.4.0/scripts/nutcracker.init /usr/local/twemproxy

# chmod +x /usr/local/twemproxy/sbin/nutcracker.init 

# vi /usr/local/twemproxy/sbin/nutcracker.init  

-- 将OPTIONS改为 OPTIONS="-d -c /usr/local/twemproxy/conf/nutcracker.yml"

-- 注释掉. /etc/rc.d/init.d/functions；

-- 将daemon --user ${USER} ${prog} $OPTIONS改为${prog} $OPTIONS；

-- 将killproc改为killall。

 

这样就可以使用如下脚本进行启动、重启、停止了。

nutcracker.init {start|stop|status|restart|reload|condrestart}

 

[报错]：若nutcracker没设置为全局变量，则会报此错

 nutcracker: command not found

写了全路径：/usr/local/twemproxy/run/${prog} $OPTIONS

 

 

（5）附加：（暂未实现）

将 Twemproxy配置成服务：

已下是相关资料：
按上面的操作步骤，Redis 的启动脚本为：/usr/local/src/redis3.0/utils/redis_init_script
将启动脚本复制到/etc/rc.d/init.d/目录下，并命名为 redis:
# cp /usr/local/src/redis3.0/utils/redis_init_script /etc/rc.d/init.d/redis
编辑/etc/rc.d/init.d/redis，修改相应配置，使之能注册成为服务：
# vi /etc/rc.d/init.d/redis


 2.4Twemproxy集群(分片)设置

一旦涉及到一台物理机无法存储的情况就需要考虑使用分片机制将数据存储到多台服务器，可以说是Redis集群；

如果客户端都是如Java没什么问题，但是如果有多种类型客户端（如PHP、C）等也要使用那么需要保证它们的分片逻辑是一样的；

另外随着客户端的增加，连接数也会随之增多，发展到一定地步肯定会出现连接数不够用的；

此时Twemproxy就可以上场了。主要作用：分片、减少连接数。另外还提供了Hash Tag机制来帮助我们将相似的数据存储到同一个分片。

注：另外也可以参考豌豆荚的https://github.com/wandoulabs/codis。

 

 

>>1.基本配置

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1
   - 192.168.1.107:6379:1

   - 192.168.1.108:6379:1

 

server1：是给当前分片配置起的名字，一个配置文件可以有多个分片配置；

listen ： 监听的ip和端口；

hash：散列算法；

distribution：分片算法，比如一致性Hash/取模；

timeout：连接后端Redis或接收响应的超时时间；

redis：是否是redis代理，如果是false则是memcached代理；

servers：代理的服务器列表，该列表会使用distribution配置的分片算法进行分片；

 

>>2.分片算法

  hash算法： 

    one_at_a_time

    md5

    crc16

    crc32 (crc32 implementation compatible with libmemcached)

    crc32a (correct crc32 implementation as per the spec)

    fnv1_64

    fnv1a_64

    fnv1_32

    fnv1a_32

    hsieh

    murmur

    jenkins

 

  分片算法：

    ketama(一致性Hash算法)

    modula(取模)

    random(随机算法)

 

>>3.服务器列表

  servers:

   - ip:port:weight alias

如

  servers:

   - 127.0.0.1:6660:1

   - 127.0.0.1:6661:1

或者

  servers:

   - 127.0.0.1:6660:1 server1

   - 127.0.0.1:6661:1 server2

 

推荐使用后一种方式，默认情况下使用ip:port:weight进行散列并分片，这样假设服务器宕机换上新的服务器，那么此时得到的散列值就不一样了，因此建议给每个配置起一个别名来保证映射到自己想要的服务器。即如果不使用一致性Hash算法来作缓存服务器，而是作持久化存储服务器时就更有必要了（即不存在服务器下线的情况，即使服务器ip:port不一样但仍然要得到一样的分片结果）。

 

>>4.一致性Hash与服务器宕机

如果我们把Redis服务器作为缓存服务器并使用一致性Hash进行分片，当有服务器宕机时需要自动从一致性Hash环上摘掉，或者其上线后自动加上，此时就需要如下配置：

#是否在节点故障无法响应时自动摘除该节点，如果作为存储需要设置为为false

auto_eject_hosts: true

#重试时间（毫秒），重新连接一个临时摘掉的故障节点的间隔，如果判断节点正常会自动加到一致性Hash环上

server_retry_timeout: 30000

#节点故障无法响应多少次从一致性Hash环临时摘掉它，默认是2

server_failure_limit: 2

 

3.HashTag

 

3.1作用

比如一个商品有：商品基本信息(p:id:)、商品介绍(d:id:)、颜色尺码(c:id:)等，假设我们存储时不采用HashTag将会导致这些数据不会存储到一个分片，而是分散到多个分片，这样获取时将需要从多个分片获取数据进行合并，无法进行mget；那么如果有了HashTag，那么可以使用“::”中间的数据做分片逻辑，这样id一样的将会分到一个分片。

 

3.2配置

# vi /usr/local/twemproxy/conf/nutcracker.yml 

nutcracker.yml配置如下

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true

  hash_tag: "::"
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1 server1
   - 192.168.1.107:6379:1 server2

   - 192.168.1.108:6379:1 server3

 

3.3 测试HashTag

redis-cli  -p 1111 

127.0.0.1:1111> set p:12: 1  

OK  

127.0.0.1:1111> set d:12: 1  

OK  

127.0.0.1:1111> set c:12: 1  

OK 

 

在我的某台服务器上：

redis-cli  -p 6660  

127.0.0.1:6660> get p:12:   

"1"  

127.0.0.1:6660> get d:12:   

"1"  

127.0.0.1:6660> get c:12:   

"1"  

 

4.支持的Redis命令

不是所有Redis命令都支持，请参考https://github.com/twitter/twemproxy/blob/master/notes/redis.md。

 

5.对于扩容最简单的办法是：

1、创建新的集群；

2、双写两个集群；

3、把数据从老集群迁移到新集群（不存在才设置值，防止覆盖新的值）；

4、复制速度要根据实际情况调整，不能影响老集群的性能；

5、切换到新集群即可，如果使用Twemproxy代理层的话，可以做到迁移对读的应用透明。

 

6.twemproxy主从备份和集群相结合

6.1 设置从库

192.168.1.106:6660 为 192.168.1.106:6660的从库，配置方法见主从配置
192.168.1.107:6660 为 192.168.1.107:6660的从库，配置方法见主从配置
192.168.1.108:6660 为 192.168.1.108:6660的从库，配置方法见主从配置

 

6.2 配置nutcracker.yml

vi /usr/local/twemproxy/conf/nutcracker.yml

配置server-slave:
server-slave:
  listen: 127.0.0.1:1112
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  hash_tag: "::"
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6660:1 server1
   - 192.168.1.107:6660:1 server2
   - 192.168.1.108:6660:1 server3
  
注：这里需写成server1 server2 server3和之前的一致

 

6.3 测试

redis-cli -p 6379 > set

redis-cli -p 6660 > get

 

============生产目标的架构=============

>>>>正经本地LocalRedis做法：106 107 108是一个主集群； 然后在116 117 118作为其从集群；需要修改：将主集群移到新的集群上面。
我的做法是：在某台新机器上，构建 6379 6660 6661作为3台分片机器，106：6379(6379从机)  107：6379(6660从机) 108:6379(6661从机)
待做

 

这篇关于Twemproxy-缓存代理分片机制的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/231102。

相关文章

MySQL中的锁机制详解之全局锁,表级锁,行级锁

MySQL中的锁机制详解之全局锁,表级锁,行级锁

《MySQL中的锁机制详解之全局锁,表级锁,行级锁》MySQL锁机制通过全局、表级、行级锁控制并发,保障数据一致性与隔离性,全局锁适用于全库备份,表级锁适合读多写少场景,行级锁(InnoDB)实现高并... 目录一、锁机制基础：从并发问题到锁分类1.1 并发访问的三大问题1.2 锁的核心作用1.3 锁粒度分
阅读更多...
SpringBoot中4种数据水平分片策略

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片
阅读更多...
Redis的持久化之RDB和AOF机制详解

Redis的持久化之RDB和AOF机制详解

《Redis的持久化之RDB和AOF机制详解》：本文主要介绍Redis的持久化之RDB和AOF机制,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述RDB（Redis Database）核心原理触发方式手动触发自动触发AOF（Append-Only File）核
阅读更多...
Redis分片集群、数据读写规则问题小结

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题？（与哨兵模
阅读更多...
PostgreSQL中MVCC 机制的实现

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg
阅读更多...
Maven 配置中的 ＜mirror＞绕过 HTTP 阻断机制的方法

Maven 配置中的 ＜mirror＞绕过 HTTP 阻断机制的方法

《Maven配置中的＜mirror＞绕过HTTP阻断机制的方法》：本文主要介绍Maven配置中的＜mirror＞绕过HTTP阻断机制的方法,本文给大家分享问题原因及解决方案,感兴趣的朋友一... 目录一、问题场景：升级 Maven 后构建失败二、解决方案：通过 <mirror> 配置覆盖默认行为1. 配置示
阅读更多...
Redis过期删除机制与内存淘汰策略的解析指南

Redis过期删除机制与内存淘汰策略的解析指南

《Redis过期删除机制与内存淘汰策略的解析指南》在使用Redis构建缓存系统时,很多开发者只设置了EXPIRE但却忽略了背后Redis的过期删除机制与内存淘汰策略,下面小编就来和大家详细介绍一下... 目录1、简述2、Redis http://www.chinasem.cn的过期删除策略（Key Expir
阅读更多...
Go语言中Recover机制的使用

Go语言中Recover机制的使用

《Go语言中Recover机制的使用》Go语言的recover机制通过defer函数捕获panic,实现异常恢复与程序稳定性,具有一定的参考价值,感兴趣的可以了解一下... 目录引言Recover 的基本概念基本代码示例简单的 Recover 示例嵌套函数中的 Recover项目场景中的应用Web 服务器中
阅读更多...
Java实现本地缓存的常用方案介绍

Java实现本地缓存的常用方案介绍

《Java实现本地缓存的常用方案介绍》本地缓存的代表技术主要有HashMap,GuavaCache,Caffeine和Encahche,这篇文章主要来和大家聊聊java利用这些技术分别实现本地缓存的方... 目录本地缓存实现方式HashMapConcurrentHashMapGuava CacheCaffe
阅读更多...
Jvm sandbox mock机制的实践过程

Jvm sandbox mock机制的实践过程

《Jvmsandboxmock机制的实践过程》：本文主要介绍Jvmsandboxmock机制的实践过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、背景二、定义一个损坏的钟1、 Springboot工程中创建一个Clock类2、 添加一个Controller
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2