性能工具之emqtt-bench BenchMark 测试示例

2024-04-17 20:20
文章标签 工具 性能 测试 示例 benchmark emqtt bench

本文主要是介绍性能工具之emqtt-bench BenchMark 测试示例，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、前言
  • 二、典型压测场景
  • 三、机器准备
  • 四、典型压测场景
    • 1、并发连接
    • 2、消息吞吐量测试
      • 2.1 1 对 1（示例）
      • 2.2 多对1（示例）
      • 2.3 1对多（示例）
  • 五、遇到的问题
    • client(): EXIT for {shutdown,eaddrnotavail}
  • 六、附录：调优建议
    • 1、关闭交换分区
    • 2、Linux 操作系统参数
    • 3、TCP 协议栈网络参数
    • 3、测试客户端设置

一、前言

在前面两篇文章中介绍了emqtt-bench工具和MQTT的入门压测，本文示例 emqtt_bench 对 MQTT Broker 做 Beachmark 测试，让大家对 MQTT消息中间 BenchMark 测试有个整体了解，方便平常在压测工作查阅。

  • 如何入门做物联网系统压测？
  • 性能工具之emqtt_bench快速上手

二、典型压测场景

BenchMark 测试以 MQTT 最典型的场景来验证其性能：

  • 并发连接：使用 emqtt-bench 创建海量连接到 MQTT Broker。
  • 消息吞吐量测试：使用 emqtt-bench 在 EMQX 中创建出海量的 Qos0 消息吞吐量，分别模拟发布-订阅 1对1，1对多，多对1这 3 种类型场景。

三、机器准备

共需准备六台服务器，一台为 EMQX Broker，七台为客户端压力机。其中：

EMQX Broker（1台）：

  • 系统：CentOS Linux release 7.6.1810 (Core)
  • CPU：8C
  • 内存：8GB
  • 服务端：EMQX 5.1.6
  • 压力机：emqtt-bench-0.4.18-el7-amd64.tar.gz

压力机（6台）：

  • 系统：CentOS Linux release 7.6.1810 (Core)
  • CPU：8C
  • 内存：16GB
  • 压力机：emqtt-bench-0.4.18-el7-amd64.tar.gz

四、典型压测场景

1、并发连接

  • 场景名称：MQTT Broker 单节点支持 30 万级设备在线，背景连接 (只连接不发送消息)
  • 描述：模拟 30 万 MQTT TCP 并发连接，并保持在线，测试执行 1 个小时。
  • 期望结果：内网测试成功率为 100%，无连接掉线，CPU 和内存在测试期间表现平稳，没有大幅度的抖动。

拓扑结构如下：
在这里插入图片描述

在6台客户端压力机上同时执行该命令，在每台压力机上启动 5w 的连接数，共计 30w 的连接：

./emqtt_bench conn -h emqx-server -c 50000

客户端压力机执行截图：
在这里插入图片描述

EMQX Broker运行情况：
在这里插入图片描述
在 MQTT Broker 单节点 8C8G的情况，我压到的峰值是30W连接，超过会导致服务崩溃。

2、消息吞吐量测试

注意这里我只具体说明如何设置，并不是实际压测场景数据。

2.1 1 对 1（示例）

  • 场景名称：MQTT Broker 单节点 500 并发连接下支持1000 QoS0 消息吞吐
  • 描述：1000 MQTT TCP 连接， pub 客户端和 sub 客户端数量相同都是 500，每个接收端均订阅一个对应的发送端 pub 主题，每个 pub 客户端每秒发送 2 条 QoS 0、payload 为 256 字节（默认值）的消息。因此消息发送和接收均为每秒 1000，总的消息吞吐达到每秒 2000。测试执行 1 个小时。
  • 期望结果：内网测试成功率为 100%，无消息积压，CPU 和内存在测试期间表现平稳，没有大幅度的抖动。

拓扑结构如下：
在这里插入图片描述

单台sub 客户端压力机：

./emqtt_bench sub -t test_topic_%i -h emqx-server -c 500

参数说明：

  • -s：消息 Payload 的大小；单位：字节。不加默认256字节。
  • -t：topic，%i：表示客户端的序列数
  • -h：要连接的 MQTT 服务器地址
  • -c：客户端总数
[root@ bin]# ./emqtt_bench sub -t test_topic_%i -h emqx-server -c 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s sub total=104 rate=103.28/sec
1s connect_succ total=104 rate=103.28/sec
2s sub total=200 rate=96.00/sec
2s connect_succ total=200 rate=96.00/sec
3s sub total=296 rate=96.00/sec
3s connect_succ total=296 rate=96.00/sec
4s sub total=400 rate=104.00/sec
4s connect_succ total=400 rate=104.00/sec
5s sub total=496 rate=96.00/sec
5s connect_succ total=496 rate=96.00/sec
6s sub total=500 rate=4.00/sec
6s connect_succ total=500 rate=4.00/sec

单台 pub 客户端压力机：

./emqtt_bench pub -t test_topic/%i -h  emqx-server -c 500 -I 500

参数说明：

  • -s：消息 Payload 的大小；单位：字节。不加默认256字节。
  • -t：topic，%i：表示客户端的序列数
  • -h：要连接的 MQTT 服务器地址
  • -c：客户端总数
  • -I：每间隔多少时间创建一个客户端；单位：毫秒
[root@ bin]# ./emqtt_bench pub -t test_topic/%i -h  emqx-server -c 500 -I 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s pub total=160 rate=159.05/sec
1s connect_succ total=104 rate=103.38/sec
2s pub total=512 rate=352.00/sec
2s connect_succ total=200 rate=96.00/sec
3s pub total=1056 rate=544.00/sec
3s connect_succ total=296 rate=96.00/sec
4s pub total=1808 rate=752.00/sec
4s connect_succ total=400 rate=104.00/sec
5s pub total=2752 rate=944.00/sec
5s connect_succ total=496 rate=96.00/sec
6s pub total=3752 rate=1000.00/sec
6s connect_succ total=500 rate=4.00/sec
7s pub total=4752 rate=1000.00/sec
8s pub total=5752 rate=1000.00/sec
9s pub total=6752 rate=1000.00/sec
10s pub total=7752 rate=1000.00/sec
11s pub total=8752 rate=1000.00/sec
12s pub total=9752 rate=1000.00/sec
13s pub total=10752 rate=1000.00/sec
14s pub total=11752 rate=1000.00/sec

在订阅客户端压力机，可看到当前接收消息的速率，类似于：

12s pub total=9752 rate=1000.00/sec

MQTT Broker 运行情况：
在这里插入图片描述

2.2 多对1（示例）

  • 场景名称：并发连接+消息吞吐（上报）
  • 描述：501 MQTT TCP 连接， pub 客户端 500 和 sub 客户端1，接收端均订阅同一个主题，每个 pub 客户端每秒发送 2 条 QoS 0、payload 为 256 字节的消息。因此消息发送和接受均为每秒 1000，总的消息吞吐达到每秒 2000。测试执行 1 个小时。
  • 期望结果：内网测试成功率为 100%，无消息积压，CPU 和内存在测试期间表现平稳，没有大幅度的抖动。

拓扑结构如下：
在这里插入图片描述

单台 sub 客户端压力机：

./emqtt_bench sub -t test_topic -h emqx-server -c 1

参数说明：

  • -s：消息 Payload 的大小；单位：字节。不加默认256字节。
  • -t：topic，%i：表示客户端的序列数
  • -h：要连接的 MQTT 服务器地址
  • -c：客户端总数
[root@ bin]# ./emqtt_bench sub -t test_topic -h emqx-server -c 1
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s sub total=1 rate=0.99/sec
1s connect_succ total=1 rate=0.99/sec

单台 pub 客户端压力机：

./emqtt_bench pub -t test_topic -h  emqx-server -c 500 -I 500

参数说明：

  • -s：消息 Payload 的大小；单位：字节。不加默认256字节。
  • -t：topic，%i：表示客户端的序列数
  • -h：要连接的 MQTT 服务器地址
  • -c：客户端总数
  • -I：每间隔多少时间创建一个客户端；单位：毫秒
root@bin]# ./emqtt_bench pub -t test_topic -h  emqx-server -c 500 -I 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s pub total=160 rate=158.89/sec
1s connect_succ total=104 rate=103.28/sec
2s pub total=496 rate=336.00/sec
2s connect_succ total=184 rate=80.00/sec
3s pub total=1040 rate=544.00/sec
3s connect_succ total=296 rate=112.00/sec
4s pub total=1792 rate=752.00/sec
4s connect_succ total=400 rate=104.00/sec
5s pub total=2736 rate=944.00/sec
5s connect_succ total=496 rate=96.00/sec
6s pub total=3736 rate=1000.00/sec
6s connect_succ total=500 rate=4.00/sec
7s pub total=4736 rate=1000.00/sec
8s pub total=5736 rate=1000.00/sec
9s pub total=6736 rate=1000.00/sec
10s pub total=7736 rate=1000.00/sec
11s pub total=8736 rate=1000.00/sec
12s pub total=9736 rate=1000.00/sec
13s pub total=10736 rate=1000.00/sec
14s pub total=11736 rate=1000.00/sec
15s pub total=12736 rate=1000.00/sec
16s pub total=13736 rate=1000.00/sec
17s pub total=14736 rate=1000.00/sec

MQTT Broker 运行情况（举例）：
在这里插入图片描述

2.3 1对多（示例）

  • 场景名称：消息广播
  • 描述：501 MQTT TCP 连接， pub 客户端 1 和 sub 客户端 500，接收端均订阅同一个主题，pub 客户端每秒发送 2 条 QoS 0、payload 为 256 字节的消息。因此消息发送为每秒 2，消息接收为每秒 1000，总的消息吞吐达到每秒 1002。测试执行 1 个小时。
  • 期望结果：内网测试成功率为 100%，无消息积压，CPU 和内存在测试期间表现平稳，没有大幅度的抖动。

拓扑结构如下：
在这里插入图片描述

单台 sub 客户端压力机：

./emqtt_bench sub -t test_topic -h emqx-server -c 500

参数说明：

  • -s：消息 Payload 的大小；单位：字节。不加默认256字节。
  • -t：topic，%i：表示客户端的序列数
  • -h：要连接的 MQTT 服务器地址
  • -c：客户端总数
[root@d bin]# ./emqtt_bench sub -t test_topic -h emqx-server -c 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s sub total=104 rate=103.38/sec
1s connect_succ total=104 rate=103.38/sec
2s sub total=200 rate=96.00/sec
2s connect_succ total=200 rate=96.00/sec
3s sub total=296 rate=96.00/sec
3s connect_succ total=296 rate=96.00/sec
4s sub total=400 rate=104.00/sec
4s connect_succ total=400 rate=104.00/sec
5s sub total=496 rate=96.00/sec
5s connect_succ total=496 rate=96.00/sec
6s sub total=500 rate=4.00/sec
6s connect_succ total=500 rate=4.00/sec

单台 pub 客户端压力机：

./emqtt_bench pub -t test_topic -h  emqx-server -c 1 -I 500

参数说明：

  • -s：消息 Payload 的大小；单位：字节。不加默认256字节。
  • -t：topic，%i：表示客户端的序列数
  • -h：要连接的 MQTT 服务器地址
  • -c：客户端总数
  • -I：每间隔多少时间创建一个客户端；单位：毫秒
[root@ bin]# ./emqtt_bench pub -t test_topic -h  emqx-server -c 1 -I 500
Start with 8 workers, addrs pool size: 1 and req interval: 80 ms 1s pub total=2 rate=1.99/sec
1s connect_succ total=1 rate=0.99/sec
2s pub total=4 rate=2.00/sec
3s pub total=6 rate=2.00/sec
4s pub total=8 rate=2.00/sec
5s pub total=10 rate=2.00/sec
6s pub total=12 rate=2.00/sec
7s pub total=14 rate=2.00/sec
8s pub total=16 rate=2.00/sec
9s pub total=18 rate=2.00/sec
10s pub total=20 rate=2.00/sec
11s pub total=22 rate=2.00/sec
12s pub total=24 rate=2.00/sec
13s pub total=26 rate=2.00/sec
14s pub total=28 rate=2.00/sec
15s pub total=30 rate=2.00/sec
16s pub total=32 rate=2.00/sec
17s pub total=34 rate=2.00/sec

EMQX Broker 运行情况（举例）：

在这里插入图片描述

五、遇到的问题

client(): EXIT for {shutdown,eaddrnotavail}

在压力机连接超过5万的时候，出现了emqtt_bench客户端报错的情况。

EMQX Broker 运行情况：
在这里插入图片描述
单台客户端压力机报错截图：
在这里插入图片描述

通过设置以下内核参数解决：

#允许当前会话 / 进程打开文件句柄数:
ulimit -n 1048576# 可用端口范围:
sudo sysctl -w net.ipv4.ip_local_port_range="1025 65534"

原因分析：
Linux 内核在这个范围内选择一个可用的端口作为本地端口去connect服务器，如果没有可用的端口可用，比如这个范围内的端口都处于如下状态中的一种：

  1. bind使用的端口
  2. 端口处于非TIME_WAIT状态
  3. 端口处于TIME_WAIT状态，但是没有启用tcp_tw_reuse，那么就会返回EADDRNOTAVAIL错误。

一般情况下，出现这个错误可用使用如下方法解决问题：

  1. 增大可选端口的范围，修改/proc/sys/net/ipv4/ip_local_port_range的值。
  2. 开启tcp_tw_reuse，允许使用TIME_WAIT状态的端口。

六、附录：调优建议

当然，我们也可以在 Beachmark 测试前就做好服务器参数调优，可以参考以下的内容。

1、关闭交换分区

Linux 交换分区可能会导致 EMQX Broker 出现不确定的内存延迟，影响系统的稳定性。 建议永久关闭交换分区。

  • 要立即关闭交换分区，执行命令 sudo swapoff -a。
  • 要永久关闭交换分区，在 /etc/fstab 文件中注释掉 swap 行，然后重新启动主机。

2、Linux 操作系统参数

系统全局允许分配的最大文件句柄数:

sysctl -w fs.file-max=2097152
sysctl -w fs.nr_open=2097152
echo 2097152 > /proc/sys/fs/nr_open

允许当前会话 / 进程打开文件句柄数:

ulimit -n 1048576

/etc/sysctl.conf

持久化 fs.file-max 设置到 /etc/sysctl.conf 文件:

fs.file-max = 1048576

/etc/systemd/system.conf 设置服务最大文件句柄数:

DefaultLimitNOFILE=1048576

/etc/security/limits.conf

/etc/security/limits.conf 持久化设置允许用户 / 进程打开文件句柄数:

*      soft   nofile      1048576
*      hard   nofile      1048576

3、TCP 协议栈网络参数

并发连接 backlog 设置:

sysctl -w net.core.somaxconn=32768
sysctl -w net.ipv4.tcp_max_syn_backlog=16384
sysctl -w net.core.netdev_max_backlog=16384

可用端口范围:

sysctl -w net.ipv4.ip_local_port_range='1024 65535'

TCP Socket 读写 Buffer 设置:

sysctl -w net.core.rmem_default=262144
sysctl -w net.core.wmem_default=262144
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216
sysctl -w net.core.optmem_max=16777216sysctl -w net.ipv4.tcp_rmem='1024 4096 16777216'
sysctl -w net.ipv4.tcp_wmem='1024 4096 16777216'

TCP 连接追踪设置:

sysctl -w net.nf_conntrack_max=1000000
sysctl -w net.netfilter.nf_conntrack_max=1000000
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30

TIME-WAIT Socket 最大数量、回收与重用设置:

sysctl -w net.ipv4.tcp_max_tw_buckets=1048576# 注意：不建议开启該设置，NAT 模式下可能引起连接 RST
# sysctl -w net.ipv4.tcp_tw_recycle=1
# sysctl -w net.ipv4.tcp_tw_reuse=1

FIN-WAIT-2 Socket 超时设置:

sysctl -w net.ipv4.tcp_fin_timeout=15

3、测试客户端设置

测试客户端服务器在一个接口上，最多只能创建 65000 连接:

# 可用端口范围:
sysctl -w net.ipv4.ip_local_port_range="500 65535"#允许当前会话 / 进程打开文件句柄数:
echo 1048576 > /proc/sys/fs/nr_open
ulimit -n 1048576

参考资料：

  • 系统调优
  • 使用 eMQTT-Bench 进行性能测试

这篇关于性能工具之emqtt-bench BenchMark 测试示例的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/912752。

相关文章

Python使用getopt处理命令行参数示例解析(最佳实践)

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数？getopt模块基础实际应用示例与其他参数处理方式的比较常见问http
阅读更多...
Android实现在线预览office文档的示例详解

Android实现在线预览office文档的示例详解

《Android实现在线预览office文档的示例详解》在移动端展示在线Office文档（如Word、Excel、PPT）是一项常见需求,这篇文章为大家重点介绍了两种方案的实现方法,希望对大家有一定的... 目录一、项目概述二、相关技术知识三、实现思路3.1 方案一：WebView + Office Onl
阅读更多...
Mysql用户授权(GRANT)语法及示例解读

Mysql用户授权(GRANT)语法及示例解读

《Mysql用户授权(GRANT)语法及示例解读》：本文主要介绍Mysql用户授权(GRANT)语法及示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql用户授权（GRANT）语法授予用户权限语法GRANT语句中的<权限类型>的使用WITH GRANT
阅读更多...
Java中Scanner的用法示例小结

Java中Scanner的用法示例小结

《Java中Scanner的用法示例小结》有时候我们在编写代码的时候可能会使用输入和输出,那Java也有自己的输入和输出,今天我们来探究一下,对JavaScanner用法相关知识感兴趣的朋友一起看看吧... 目录前言一 输出二 输入Scanner的使用多组输入三 综合练习：猜数字游戏猜数字前言有时候我们在
阅读更多...
html5的响应式布局的方法示例详解

html5的响应式布局的方法示例详解

《html5的响应式布局的方法示例详解》：本文主要介绍了HTML5中使用媒体查询和Flexbox进行响应式布局的方法，简要介绍了CSSGrid布局的基础知识和如何实现自动换行的网格布局，详细内容请阅读本文，希望能对你有所帮助... 一 使用媒体查询响应式布局        使用的参数@media这是常用的
阅读更多...
MySql match against工具详细用法

MySql match against工具详细用法

《MySqlmatchagainst工具详细用法》在MySQL中,MATCH……AGAINST是全文索引（Full-Textindex）的查询语法,它允许你对文本进行高效的全文搜素,支持自然语言搜... 目录一、全文索引的基本概念二、创建全文索引三、自然语言搜索四、布尔搜索五、相关性排序六、全文索引的限制七
阅读更多...
Java使用SLF4J记录不同级别日志的示例详解

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J
阅读更多...
Java字符串操作技巧之语法、示例与应用场景分析

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字
阅读更多...
基于Java实现回调监听工具类

基于Java实现回调监听工具类

《基于Java实现回调监听工具类》这篇文章主要为大家详细介绍了如何基于Java实现一个回调监听工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录监听接口类 Listenable实际用法打印结果首先，会用到 函数式接口 Consumer, 通过这个可以解耦回调方法，下面先写一个
阅读更多...
C++使用printf语句实现进制转换的示例代码

C++使用printf语句实现进制转换的示例代码

《C++使用printf语句实现进制转换的示例代码》在C语言中,printf函数可以直接实现部分进制转换功能,通过格式说明符（formatspecifier）快速输出不同进制的数值,下面给大家分享C+... 目录一、printf 原生支持的进制转换1. 十进制、八进制、十六进制转换2. 显示进制前缀3. 指
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2