Twemproxy-缓存代理分片机制

2023-10-18 07:30
文章标签 代理 缓存 机制 分片 twemproxy

本文主要是介绍Twemproxy-缓存代理分片机制，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

资料参考:
(1) http://www.cnblogs.com/gomysql/p/4413922.html
常用命令：
nutcracker.init {start|stop|status|restart|reload|condrestart}
nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/redisproxy.log

 

1.介绍

1.1 一句话介绍Twemproxy是一个Redis/Memcached代理中间件，可以实现诸如分片逻辑、HashTag、减少连接数等功能；尤其在有大量应用服务器的场景下Twemproxy的角色就凸显了，能有效减少连接数。

1.2 特点

Twemproxy是一种代理分片机制，由Twitter开源。

Twemproxy作为代理，可接受来自多个程序的访问，按照路由规则，转发给后台的各个Redis服务器，再原路返回。该方案很好的解决了单个Redis实例承载能力的问题，通过Twemproxy可以使用多台服务器来水平扩张redis服务，可以有效的避免单点故障问题

当然，Twemproxy本身也是单点，需要用Keepalived做高可用方案。

虽然使用Twemproxy需要更多的硬件资源和在redis性能有一定的损失（twitter测试约20%），但是能够提高整个系统的HA也是相当划算的。

twemproxy不光实现了redis协议，还实现了memcached协议，什么意思？换句话说，twemproxy不光可以代理redis，还可以代理memcached，官方说明：

twemproxy (pronounced "two-em-proxy"), aka nutcracker is a fast and lightweight proxy for memcachedand redis protocol. It was built primarily to reduce the number of connections to the caching servers on the backend. This, together with protocol pipeling and sharding enables you to horizontally scale your distributed caching architecture.

 

Twemproxy架构：

 

 

 通常会结合keepalived来实现Twemproxy的高可用。架构图如下：



 

 

 

 

2.安装、配置与启动

 

2.1环境准备：

>>安装路径 /usr/local/twemproxy

>>需要安装autoconf、automake、libtool工具

说明：twemproxy的安装要求autoconf的版本在2.64以上，否则提示"error: Autoconf version 2.64 or higher is required"。

使用以下命令下载的autoconf版本如果小于2.64，方案如下：

(1) 查询当前版本  rpm -qf /usr/bin/autoconf

autoconf-2.63-5.1.el6.noarch

(2) 卸载当前版本  rpm -e --nodeps autoconf-2.63-5.1.el6.noarch

(3) 安装最新版本

[root@BobServerStation twemproxy]# wget ftp://ftp.gnu.org/gnu/autoconf/autoconf-2.68.tar.gz

[root@BobServerStation twemproxy]# tar zxvf autoconf-2.68.tar.gz

[root@BobServerStation twemproxy]# cd autoconf-2.68

[root@BobServerStation twemproxy]# ./configure --prefix=/usr/

[root@BobServerStation twemproxy]# make && make install

 

[ubuntu]

apt-get install autoconf automake  

apt-get install libtool

 

[centos]

#autoconf这一步使用此命令装的版本是小于2.64的，需要上面的方法安装

yum -y install autoconf

yum -y install automake

yum -y install libtool

 

2.2 安装及配置

2.2.1安装

cd /usr/local

wget https://github.com/twitter/twemproxy/archive/v0.4.0.tar.gz  

tar -xvf v0.4.0.tar.gz    

cd twemproxy-0.4.0/ 

autoreconf -fvi

mkdir /usr/local/twemproxy

./configure --prefix=/usr/local/twemproxy
make -j 8
make install

注意:如上安装方式在有些服务器上可能在大量如mset时可能导致Twemproxy崩溃，需要使用如 CFLAGS="-O1" ./configure && make或CFLAGS="-O3 -fno-strict-aliasing" ./configure && make安装。

 

2.2.2配置变量

#设置环境变量：
echo "PATH=$PATH:/usr/local/twemproxy/sbin/" >> /etc/profile
source /etc/profile

 

#创建目录

cd /usr/local/twemproxy
mkdir run conf

 

#添加proxy配置文件
vi /usr/local/twemproxy/conf/nutcracker.yml

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1
   - 192.168.1.107:6379:1

   - 192.168.1.108:6379:1

 

#把conf目录复制到/usr/local/twemproxy/sbin/目录下

cp -r  /usr/local/twemproxy-0.4.0/conf /usr/local/twemproxy/sbin/

 

2.3启动及测试

（1）启动命令：nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/redisproxy.log

Options:
-h, –help                        : 查看帮助文档，显示命令选项
-V, –version                     : 查看nutcracker版本
-t, –test-conf                   : 测试配置脚本的正确性
-d, –daemonize                   : 以守护进程运行
-D, –describe-stats              : 打印状态描述
-v, –verbosity=N                 : 设置日志级别 (default: 5, min: 0, max: 11)
-o, –output=S                    : 设置日志输出路径，默认为标准错误输出 (default: stderr)
-c, –conf-file=S                 : 指定配置文件路径 (default: conf/nutcracker.yml)
-s, –stats-port=N                : 设置状态监控端口，默认22222 (default: 22222)
-a, –stats-addr=S                : 设置状态监控IP，默认0.0.0.0 (default: 0.0.0.0)
-i, –stats-interval=N            : 设置状态聚合间隔 (default: 30000 msec)
-p, –pid-file=S                  : 指定进程pid文件路径，默认关闭 (default: off)
-m, –mbuf-size=N                 : 设置mbuf块大小，以bytes单位 (default: 16384 bytes)

 

（2）查看是否启动成功
ps -ef | grep nutcracker | grep -v grep

ps aux | grep nutcracker  

 

（3）简单测试

redis-cli  -p 1111 

127.0.0.1:1111> set i 1  

OK  

127.0.0.1:1111> get i  

"1"  

Twemproxy文档请参考https://github.com/twitter/twemproxy。到此基本的安装就完成了。接下来做一些介绍。

 

（4）配置启动/重启/停止脚本方便操作

# cp /usr/local/twemproxy-0.4.0/scripts/nutcracker.init /usr/local/twemproxy

# chmod +x /usr/local/twemproxy/sbin/nutcracker.init 

# vi /usr/local/twemproxy/sbin/nutcracker.init  

-- 将OPTIONS改为 OPTIONS="-d -c /usr/local/twemproxy/conf/nutcracker.yml"

-- 注释掉. /etc/rc.d/init.d/functions；

-- 将daemon --user ${USER} ${prog} $OPTIONS改为${prog} $OPTIONS；

-- 将killproc改为killall。

 

这样就可以使用如下脚本进行启动、重启、停止了。

nutcracker.init {start|stop|status|restart|reload|condrestart}

 

[报错]：若nutcracker没设置为全局变量，则会报此错

 nutcracker: command not found

写了全路径：/usr/local/twemproxy/run/${prog} $OPTIONS

 

 

（5）附加：（暂未实现）

将 Twemproxy配置成服务：

已下是相关资料：
按上面的操作步骤，Redis 的启动脚本为：/usr/local/src/redis3.0/utils/redis_init_script
将启动脚本复制到/etc/rc.d/init.d/目录下，并命名为 redis:
# cp /usr/local/src/redis3.0/utils/redis_init_script /etc/rc.d/init.d/redis
编辑/etc/rc.d/init.d/redis，修改相应配置，使之能注册成为服务：
# vi /etc/rc.d/init.d/redis


 2.4Twemproxy集群(分片)设置

一旦涉及到一台物理机无法存储的情况就需要考虑使用分片机制将数据存储到多台服务器，可以说是Redis集群；

如果客户端都是如Java没什么问题，但是如果有多种类型客户端（如PHP、C）等也要使用那么需要保证它们的分片逻辑是一样的；

另外随着客户端的增加，连接数也会随之增多，发展到一定地步肯定会出现连接数不够用的；

此时Twemproxy就可以上场了。主要作用：分片、减少连接数。另外还提供了Hash Tag机制来帮助我们将相似的数据存储到同一个分片。

注：另外也可以参考豌豆荚的https://github.com/wandoulabs/codis。

 

 

>>1.基本配置

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1
   - 192.168.1.107:6379:1

   - 192.168.1.108:6379:1

 

server1：是给当前分片配置起的名字，一个配置文件可以有多个分片配置；

listen ： 监听的ip和端口；

hash：散列算法；

distribution：分片算法，比如一致性Hash/取模；

timeout：连接后端Redis或接收响应的超时时间；

redis：是否是redis代理，如果是false则是memcached代理；

servers：代理的服务器列表，该列表会使用distribution配置的分片算法进行分片；

 

>>2.分片算法

  hash算法： 

    one_at_a_time

    md5

    crc16

    crc32 (crc32 implementation compatible with libmemcached)

    crc32a (correct crc32 implementation as per the spec)

    fnv1_64

    fnv1a_64

    fnv1_32

    fnv1a_32

    hsieh

    murmur

    jenkins

 

  分片算法：

    ketama(一致性Hash算法)

    modula(取模)

    random(随机算法)

 

>>3.服务器列表

  servers:

   - ip:port:weight alias

如

  servers:

   - 127.0.0.1:6660:1

   - 127.0.0.1:6661:1

或者

  servers:

   - 127.0.0.1:6660:1 server1

   - 127.0.0.1:6661:1 server2

 

推荐使用后一种方式，默认情况下使用ip:port:weight进行散列并分片，这样假设服务器宕机换上新的服务器，那么此时得到的散列值就不一样了，因此建议给每个配置起一个别名来保证映射到自己想要的服务器。即如果不使用一致性Hash算法来作缓存服务器，而是作持久化存储服务器时就更有必要了（即不存在服务器下线的情况，即使服务器ip:port不一样但仍然要得到一样的分片结果）。

 

>>4.一致性Hash与服务器宕机

如果我们把Redis服务器作为缓存服务器并使用一致性Hash进行分片，当有服务器宕机时需要自动从一致性Hash环上摘掉，或者其上线后自动加上，此时就需要如下配置：

#是否在节点故障无法响应时自动摘除该节点，如果作为存储需要设置为为false

auto_eject_hosts: true

#重试时间（毫秒），重新连接一个临时摘掉的故障节点的间隔，如果判断节点正常会自动加到一致性Hash环上

server_retry_timeout: 30000

#节点故障无法响应多少次从一致性Hash环临时摘掉它，默认是2

server_failure_limit: 2

 

3.HashTag

 

3.1作用

比如一个商品有：商品基本信息(p:id:)、商品介绍(d:id:)、颜色尺码(c:id:)等，假设我们存储时不采用HashTag将会导致这些数据不会存储到一个分片，而是分散到多个分片，这样获取时将需要从多个分片获取数据进行合并，无法进行mget；那么如果有了HashTag，那么可以使用“::”中间的数据做分片逻辑，这样id一样的将会分到一个分片。

 

3.2配置

# vi /usr/local/twemproxy/conf/nutcracker.yml 

nutcracker.yml配置如下

server1:
  listen: 127.0.0.1:1111
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true

  hash_tag: "::"
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6379:1 server1
   - 192.168.1.107:6379:1 server2

   - 192.168.1.108:6379:1 server3

 

3.3 测试HashTag

redis-cli  -p 1111 

127.0.0.1:1111> set p:12: 1  

OK  

127.0.0.1:1111> set d:12: 1  

OK  

127.0.0.1:1111> set c:12: 1  

OK 

 

在我的某台服务器上：

redis-cli  -p 6660  

127.0.0.1:6660> get p:12:   

"1"  

127.0.0.1:6660> get d:12:   

"1"  

127.0.0.1:6660> get c:12:   

"1"  

 

4.支持的Redis命令

不是所有Redis命令都支持，请参考https://github.com/twitter/twemproxy/blob/master/notes/redis.md。

 

5.对于扩容最简单的办法是：

1、创建新的集群；

2、双写两个集群；

3、把数据从老集群迁移到新集群（不存在才设置值，防止覆盖新的值）；

4、复制速度要根据实际情况调整，不能影响老集群的性能；

5、切换到新集群即可，如果使用Twemproxy代理层的话，可以做到迁移对读的应用透明。

 

6.twemproxy主从备份和集群相结合

6.1 设置从库

192.168.1.106:6660 为 192.168.1.106:6660的从库，配置方法见主从配置
192.168.1.107:6660 为 192.168.1.107:6660的从库，配置方法见主从配置
192.168.1.108:6660 为 192.168.1.108:6660的从库，配置方法见主从配置

 

6.2 配置nutcracker.yml

vi /usr/local/twemproxy/conf/nutcracker.yml

配置server-slave:
server-slave:
  listen: 127.0.0.1:1112
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  hash_tag: "::"
  server_retry_timeout: 2000
  server_failure_limit: 1
  servers:
   - 192.168.1.106:6660:1 server1
   - 192.168.1.107:6660:1 server2
   - 192.168.1.108:6660:1 server3
  
注：这里需写成server1 server2 server3和之前的一致

 

6.3 测试

redis-cli -p 6379 > set

redis-cli -p 6660 > get

 

============生产目标的架构=============

>>>>正经本地LocalRedis做法：106 107 108是一个主集群； 然后在116 117 118作为其从集群；需要修改：将主集群移到新的集群上面。
我的做法是：在某台新机器上，构建 6379 6660 6661作为3台分片机器，106：6379(6379从机)  107：6379(6660从机) 108:6379(6661从机)
待做

 

这篇关于Twemproxy-缓存代理分片机制的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/231102。

相关文章

Python使用FastAPI实现大文件分片上传与断点续传功能

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现（FastAPI）2.1 运行环境2.2 目录结构建议2.3 serv
阅读更多...
使用shardingsphere实现mysql数据库分片方式

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp
阅读更多...
使用Spring Cache本地缓存示例代码

使用Spring Cache本地缓存示例代码

《使用SpringCache本地缓存示例代码》缓存是提高应用程序性能的重要手段,通过将频繁访问的数据存储在内存中,可以减少数据库访问次数,从而加速数据读取,：本文主要介绍使用SpringCac... 目录一、Spring Cache简介核心特点：二、基础配置1. 添加依赖2. 启用缓存3. 缓存配置方案方案
阅读更多...
基于Redis自动过期的流处理暂停机制

基于Redis自动过期的流处理暂停机制

《基于Redis自动过期的流处理暂停机制》基于Redis自动过期的流处理暂停机制是一种高效、可靠且易于实现的解决方案,防止延时过大的数据影响实时处理自动恢复处理,以避免积压的数据影响实时性,下面就来详... 目录核心思路代码实现1. 初始化Redis连接和键前缀2. 接收数据时检查暂停状态3. 检测到延时过
阅读更多...
Redis中哨兵机制和集群的区别及说明

Redis中哨兵机制和集群的区别及说明

《Redis中哨兵机制和集群的区别及说明》Redis哨兵通过主从复制实现高可用,适用于中小规模数据；集群采用分布式分片,支持动态扩展,适合大规模数据,哨兵管理简单但扩展性弱,集群性能更强但架构复杂,根... 目录一、架构设计与节点角色1. 哨兵机制（Sentinel）2. 集群（Cluster）二、数据分片
阅读更多...
Java实现本地缓存的四种方法实现与对比

Java实现本地缓存的四种方法实现与对比

《Java实现本地缓存的四种方法实现与对比》本地缓存的优点就是速度非常快,没有网络消耗,本地缓存比如caffine,guavacache这些都是比较常用的,下面我们来看看这四种缓存的具体实现吧... 目录1、HashMap2、Guava Cache3、Caffeine4、Encache本地缓存比如 caff
阅读更多...
MySQL进行分片合并的实现步骤

MySQL进行分片合并的实现步骤

《MySQL进行分片合并的实现步骤》分片合并是指在分布式数据库系统中,将不同分片上的查询结果进行整合,以获得完整的查询结果,下面就来具体介绍一下,感兴趣的可以了解一下... 目录环境准备项目依赖数据源配置分片上下文分片查询和合并代码实现1. 查询单条记录2. 跨分片查询和合并测试结论分片合并（Shardin
阅读更多...
Android 缓存日志Logcat导出与分析最佳实践

Android 缓存日志Logcat导出与分析最佳实践

《Android缓存日志Logcat导出与分析最佳实践》本文全面介绍AndroidLogcat缓存日志的导出与分析方法,涵盖按进程、缓冲区类型及日志级别过滤,自动化工具使用,常见问题解决方案和最佳实... 目录android 缓存日志（Logcat）导出与分析全攻略为什么要导出缓存日志？按需过滤导出1. 按
阅读更多...
深入理解go中interface机制

深入理解go中interface机制

《深入理解go中interface机制》本文主要介绍了深入理解go中interface机制,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前言interface使用类型判断总结前言go的interface是一组method的集合，不
阅读更多...
C# async await 异步编程实现机制详解

C# async await 异步编程实现机制详解

《C#asyncawait异步编程实现机制详解》async/await是C#5.0引入的语法糖,它基于**状态机（StateMachine）**模式实现,将异步方法转换为编译器生成的状态机类,本... 目录一、async/await 异步编程实现机制1.1 核心概念1.2 编译器转换过程1.3 关键组件解析
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2