tcp 连接数上限突破

2024-03-14 05:28
文章标签 tcp 连接数 突破 上限

本文主要是介绍tcp 连接数上限突破，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

连接数上限条件

文件句柄的限制

一个tcp连接就需要占用一个文件描述符，一旦文件描述符用完，新的连接就会返回给我们错误是：Can’topen so many files。linux系统出于安全角度的考虑，在多个维度对于可打开的文件描述符进行了限制，通常是系统限制、用户限制、进程限制。

限制维度描述查看默认修改
系统(fs.file-max)限制整个系统的文件句柄个数cat /proc/sys/fs/file-max-编辑 /etc/sysctl.conf 文件，加入：
fs.file-max=1000000
然后执行sysctl -p命令使其生效
进程(fs.nr_open)限制系统单个进程可打开的最大文件件句柄数量cat /proc/sys/fs/nr_open-编辑 /etc/sysctl.conf 文件，加入:
fs.nr_open=1000000
然后执行sysctl -p命令使其生效
用户进程(nofile)限制每个用户的进程可打开的最大文件句柄数量ulimit -n-临时修改:ulimit -n 1000000
永久修改：编辑 /etc/security/limits.conf 文件:
* soft nofile 55000
* hard nofile 55000
上面修改对所有用户生效。
注意!!!：hard nofile 一定要比 fs.nr_open 要小，否则可能导致用户无法登陆。

端口限制

操作系统采用 <客户端IP : 客户端端口> : <服务端IP : 服务端端口> 四元组来标识一条TCP连接。

端口范围

一个IP的端口范围是1024-65535。

查看方法
$ sysctl net.ipv4.ip_local_port_range

或

$ cat /proc/sys/net/ipv4/ip_local_port_range
修改方法

临时修改：

# 临时修改方法1
$ echo 1024 65535 > /proc/sys/net/ipv4/ip_local_port_range# 临时修改方法2
$ sysctl -w net.ipv4.ip_local_port_range="1024 64000"

永久修改：
编辑 /etc/sysctl.conf 文件，在其中加入：

net.ipv4.ip_local_port_range = 1024 65535

连接突破限制方法

服务端一般不会存在端口限制的问题，服务端开一个listen端口，只要文件句柄没达上限，就可以建立连接。
针对客户端的端口限制，有下面的方法：

  • 服务器端只开启一个进程，然后使用很多个客户端进程绑定不同的客户端 ip 来连接
  • 服务器开启多个进程，这样客户端就可以只使用一个 ip 即可

supervisor控制的程序

CentOS上使用系统自带的supervisor，使用systemd启动supervisord的服务。被supervisor管理、启动的进程，并不会使用 /etc/security/limits.conf 中配置的 nofile 数值，继承的是systemd对应的限制。

在supervisord 的配置文件 /etc/supervisor.conf中调整

检查 supervisord 的配置文件 /etc/supervisor.conf 中，会发现一个 minfds 的参数设置了 nofile 限制，默认为 1024。

[supervisord]minfds=100000                 ; (min. avail startup file descriptors;default 1024)
minprocs=100000                ; (min. avail process descriptors;default 200)

minprocs 参数，minprocs 对应的是 rlimit 中的 nproc, nproc 代表一个进程最多可以创建的线程数。

在启动.service文件里面修改对应的限制

$ vim /usr/lib/systemd/system/supervisord.service
[Unit]
Description=Process Monitoring and Control Daemon
After=network.target[Service]
Type=forking
LimitCORE=infinity
LimitNOFILE=100000 
LimitNPROC=100000
ExecStart=/usr/bin/supervisord -c /etc/supervisord.conf
ExecReload=/usr/bin/supervisorctl reload
ExecStop=/usr/bin/supervisorctl shutdown[Install]
WantedBy=multi-user.target

重新加载

$ systemctl daemon-reload
$ systemctl restart supervisord.service

nginx 连接突破上限

首先参考上面的内容调整文件句柄数量。其次创建子网卡，将请求分配到不同的 ip上,最后调整nginx配置。

创建子网卡

ifconfig eth0:0 192.168.1.11/24 up
ifconfig eth0:1 192.168.1.12/24 up
ifconfig eth0:2 192.168.1.13/24 up
ifconfig eth0:3 192.168.1.14/24 up
ifconfig eth0:4 192.168.1.15/24 up
ifconfig eth0:5 192.168.1.16/24 up
ifconfig eth0:6 192.168.1.17/24 up
ifconfig eth0:7 192.168.1.18/24 up
ifconfig eth0:8 192.168.1.19/24 up
ifconfig eth0:9 192.168.1.10/24 up
ifconfig eth0:10 192.168.1.20/24 up
ifconfig eth0:11 192.168.1.21/24 up
ifconfig eth0:12 192.168.1.22/24 up
ifconfig eth0:13 192.168.1.23/24 up
ifconfig eth0:14 192.168.1.24/24 up

调整nginx配置

  1. 修改Nginx最大打开文件数为 100w
worker_rlimit_nofile 1000000;
  1. 修改Nginx事件处理模型
events {use epoll;worker_connections 1000000;
}

3.配置应用请求
后端 go应用程序监听在 9505 端口，nginx中配置 upstream

upstream go-ws {server 127.0.0.1:9505;keepalive 128;
}location /ws {proxy_redirect off;proxy_bind $split_ip;proxy_pass http://go-ws;proxy_bind $spl_set_header X-Forwarded-For $proxy_add_x_forwarded_for;# WebSocket 支持的核心配置proxy_http_version 1.1;proxy_set_header Upgrade $http_upgrade;proxy_set_header Connection $http_connection;proxy_intercept_errors on;client_max_body_size 20m;}#将请求分配到不同ip上
split_clients "$remote_addr$remote_port" $split_ip {10%  192.168.1.11;10%  192.168.1.12;10%  192.168.1.13;10%  192.168.1.14;10%  192.168.1.15;10%  192.168.1.16;10%  192.168.1.17;10%  192.168.1.18;10%  192.168.1.19;10%  192.168.1.20;10%  192.168.1.21;10%  192.168.1.22;10%  192.168.1.23;10%  192.168.1.24;*    192.168.1.10;
}

如果句柄数并未达到100万就报http: Accept error: accept tcp [::]:9505: accept4: too many open files; retrying in 40ms

尝试调整 supervisorctl句柄数据试试。

netty 连接数设置

netty中跟连接数相关的参数是ChannelOption.SO_BACKLOG，对应的是tcp/ip协议, listen函数 中的 backlog 参数，用来初始化服务端可连接队列。

linux内核中的两个队列

在linux系统内核中维护了两个队列：syns queue和accept queue

服务端处理客户端连接请求是顺序处理的，所以同一时间只能处理一个客户端连接，多个客户端来的时候，服务端将不能处理的客户端连接请求放在队列中等待处理。

  • syns queue：保存一个SYN已经到达，但三次握手还没有完成的连接。

    用于保存半连接状态的请求，其大小通过/proc/sys/net/ipv4/tcp_max_syn_backlog指定，一般默认值是512。不过这个设置有效的前提是系统的syncookies功能被禁用。

    互联网常见的TCP SYN FLOOD恶意DOS攻击方式就是建立大量的半连接状态的请求，然后丢弃，导致syns queue不能保存其它正常的请求。

  • accept queue：保存三次握手已完成，内核正等待进程执行accept的调用的连接。

    用于保存全连接状态的请求，其大小通过/proc/sys/net/core/somaxconn指定。

    在使用listen函数时，内核会根据传入的backlog参数与系统参数somaxconn，取二者的较小值。

注意：

  • 如果未设置或所设置的值小于1，Java将使用默认值50。
  • 如果accpet queue队列满了，server将发送一个ECONNREFUSED错误信息Connection refused到client。

ChannelOption.SO_BACKLOG

服务器TCP内核 内维护了两个队列，称为A(未连接队列)和B(已连接队列)

如果A+B的长度大于Backlog时，新的连接就会被TCP内核拒绝掉。

如果backlog过小，就可能出现Accept的速度跟不上，A,B队列满了，就会导致客户端无法建立连接。

另外 backlog对程序的连接数没影响，但是影响的是还没有被Accept取出的连接。

在netty实现中，backlog默认通过NetUtil.SOMAXCONN指定；在ServerBootstrap中使用option()方法设置SO_BACKLOG参数，该参数表示等待接受的连接队列的最大长度。示例代码如下：

ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class).option(ChannelOption.SO_BACKLOG, 100) // 设置最大连接数为100.childHandler(new MyChannelInitializer());

TCP的连接状态 (SYN, FIN, ACK, PSH, RST, URG)

SYN 表示建立连接
FIN 表示关闭连接
ACK 表示响应
PSH 表示有 DATA数据传输
RST 表示连接重置。

参考

用Netty实现单机百万TCP长连接
让Netty Linux 突破100万的连接量
netty怎么设置最大连接数
单机器如何实现Nginx百万并发连接
linux - 文件句柄的限制，你知道吗？
实践单机实现百万连接
supervisord 中的 open files 数量限制
superversior 常用操作命令supervisorctl
Netty ChannelOption.SO_BACKLOG配置

这篇关于tcp 连接数上限突破的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/807327。

相关文章

黑神话，XSKY 星飞全闪单卷性能突破310万

黑神话，XSKY 星飞全闪单卷性能突破310万

当下，云计算仍然是企业主要的基础架构，随着关键业务的逐步虚拟化和云化，对于块存储的性能要求也日益提高。企业对于低延迟、高稳定性的存储解决方案的需求日益迫切。为了满足这些日益增长的 IO 密集型应用场景，众多云服务提供商正在不断推陈出新，推出具有更低时延和更高 IOPS 性能的云硬盘产品。 8 月 22 日 2024 DTCC 大会上（第十五届中国数据库技术大会），XSKY星辰天合正式公布了基于星
阅读更多...
实例：如何统计当前主机的连接状态和连接数

实例：如何统计当前主机的连接状态和连接数

统计当前主机的连接状态和连接数 在 Linux 中，可使用 ss 命令来查看主机的网络连接状态。以下是统计当前主机连接状态和连接主机数量的具体操作。 1. 统计当前主机的连接状态 使用 ss 命令结合 grep、cut、sort 和 uniq 命令来统计当前主机的 TCP 连接状态。 ss -nta | grep -v '^State' | cut -d " " -f 1 | sort |
阅读更多...
【Go】go连接clickhouse使用TCP协议

【Go】go连接clickhouse使用TCP协议

离开你是傻是对是错 是看破是软弱 这结果是爱是恨或者是什么 如果是种解脱 怎么会还有眷恋在我心窝 那么爱你为什么                      🎵 黄品源/莫文蔚《那么爱你为什么》 package mainimport ("context""fmt""log""time""github.com/ClickHouse/clickhouse-go/v2")func main(
阅读更多...
2024.9.8 TCP/IP协议学习笔记

2024.9.8 TCP/IP协议学习笔记

1.所谓的层就是数据交换的深度，电脑点对点就是单层，物理层，加上集线器还是物理层，加上交换机就变成链路层了，有地址表，路由器就到了第三层网络层，每个端口都有一个mac地址 2.A 给 C 发数据包，怎么知道是否要通过路由器转发呢？答案：子网 3.将源 IP 与目的 IP 分别同这个子网掩码进行与运算****，相等则是在一个子网，不相等就是在不同子网 4.A 如何知道，哪个设备是路由器？答案：在 A
阅读更多...
图解TCP三次握手｜深度解析｜为什么是三次

图解TCP三次握手｜深度解析｜为什么是三次

写在前面 这篇文章我们来讲解析 TCP三次握手。 TCP 报文段 传输控制块TCB：存储了每一个连接中的一些重要信息。比如TCP连接表，指向发送和接收缓冲的指针，指向重传队列的指针，当前的发送和接收序列等等。 我们再来看一下TCP报文段的组成结构 TCP 三次握手 过程 假设有一台客户端，B有一台服务器。最初两端的TCP进程都是处于CLOSED关闭状态，客户端A打开链接，服务器端
阅读更多...
网络原理之TCP协议（万字详解！！！）

网络原理之TCP协议（万字详解！！！）

目录 前言 TCP协议段格式 TCP协议相关特性 1.确认应答 2.超时重传 3.连接管理（三次握手、四次挥手） 三次握手（建立TCP连接） 四次挥手（断开连接）  4.滑动窗口 5.流量控制 6.拥塞控制 7.延迟应答 8.捎带应答  9.基于字节流 10.异常情况的处理 小结  前言 在前面，我们已经讲解了有关UDP协议的相关知识，但是在传输层，还有
阅读更多...
linux下TCP/IP实现简单聊天程序

linux下TCP/IP实现简单聊天程序

可以在同一台电脑上运行，在一个终端上运行服务器端，在一个终端上运行客户端。 服务器端的IP地址要和本地的IP相同，并分配端口号，客户端的默认设置为本地，端口号自动分配。 服务器端： #include <stdio.h>#include <stdlib.h>#include <errno.h>#include <string.h>#include <sys/types.
阅读更多...
JAVAEE初阶第七节（中）——物理原理与TCP_IP

JAVAEE初阶第七节（中）——物理原理与TCP_IP

系列文章目录 JAVAEE初阶第七节（中）——物理原理与TCP_IP 文章目录 系列文章目录JAVAEE初阶第七节（中）——物理原理与TCP_IP 一.应用层重点协议）1. DNS2 .NAT3. NAT IP转换过程 4 .NAPT5. NAT技术的缺陷6. HTTP/HTTPS7. 自定义协议 二. 传输层重点协议 1 .UDP协议 2.1.1 UDP协议端格式 2.1.2 UD
阅读更多...
深入理解TCP通信

深入理解TCP通信

这大概是自己博客上面第三次写TCP通信demo了，总是写同样的内容也不太好啊，不过每一次都比前一次进步一点。这次主要使用了VIM编辑工具、gdb调试、wireshirk、netstat查看网络状态。 参考《C++服务器视频教程》、《Unix网络编程》 一、VIM常用命令 vim server.cpp #打开一个文件:w 写入文件:wq 保存并退出:q! 不保存退出显示行号
阅读更多...
浏览器工作原理（3）-TCP协议文件如何从服务器到浏览器

浏览器工作原理（3）-TCP协议文件如何从服务器到浏览器

浏览器工作原理-TCP协议，文件如何从服务器到浏览器 本周继续学习浏览器工作原理及实践，本次内容来看一下TCP协议确保文件完整的送到至浏览器 First Page 是指页面加载到首次开始绘制的时长，而影响这个性能指标的一个重要原因是网络加载速度，网络传输协议无论使用http还是websocket，都是基于TCP/IP的，所以有必要了解一下TCP/IP，对于web的性能调优和问题定位都有很
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2