本文主要是介绍【RocketMQ】开启DLedger高可用之后的坑:性能骤降30倍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
最近在做性能测试的时候发现,当集群开启了DLedger高可用之后,性能很差,TPS相差有30倍之多,详细过程记录如下:
集群信息
集群1:版本4.7.1,3Master,每个Master两个Slave,单Broker8G内存,异步复制,异步刷盘
集群2:所有配置一样,不同点是开启了DLedger
压测结果
使用相同参数进行压测:线程数:128,消息大小:128byte,压测结果对比如下:
集群1:
集群2:
可以看到,开启DLedger之后,性能骤降30倍,TPS只有3000+,有点懵,于是怀疑是否是集群2的配置错了,检查了一下集群2的Broker配置:

检查了配置,确定了是ASYNC_MASTER,但是从console看到的却不一样
可以看到运行时的Broker配置已经被改成了SYNC_MASTER的
于是带着疑问,看了一下代码

可以看到,LEADER角色的Broker,角色会被改成SYNC_MASTER
那为何会这样呢?
官方GitHub有两个issues:
https://github.com/apache/rocketmq/issues/2583
https://github.com/apache/rocketmq/issues/2278
大致的原因:开启DLedger之后,由于使用了Raft协议来保证集群的一致性,由于Raft主从复制的原理,和原来的Master/Slave模式的不一样,如果使用了Raft协议,主从复制是由Master发起,主动向每个从节点同步消息,而异步的方式是由从节点发起,向主节点上报offset,主节点再根据offset向从节点同步,所以开启了DLedger后,配置了ASNYC_MASTER会不生效,在最新的4.8.0中使用了Pipeline模式和批量复制,性能有所提升。
于是我重新搭建了个4.8.0的DLedger集群,压测结果如下:
单机TPS能达到1.4W+,性能确实提升不少,但是相比普通的Master/Slave模式,还是损失了一半左右的性能。
这篇关于【RocketMQ】开启DLedger高可用之后的坑:性能骤降30倍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!