linux 高并发socket通信模型

2024-05-04 01:48

本文主要是介绍linux 高并发socket通信模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

------select

1 一个误区很多人认为它最大可以监听1024个,实际上却是文件描述符的值不能大于等于1024,所以除掉标准输入、输出、错误输出,一定少于1024个,如果在之前还打开了其他文件,那会更少

2 select返回后,一般要轮询fd_set,发现新连接要加上,连接断开要去掉,这个过程一定要这样做:select之前把fd_set临时拷贝一份,轮询中对它的修改只在临时fd_set上做,轮询完了,再对这个临时fd_set select,否则你可能明明有连接进来,却accept不到,这可能是因为轮询中如果直接修改fdset,select的底层就会定位错乱


------poll

性能测试发现,select与poll有相似的调用时间与cpu占用率,都随着数据量变大或者连接数变大(活动连接不变)而变大

连接进入时,返回POLLIN,连接关闭时返回POLLERR 或者 POLLIN


------epoll

正如传说的那样,epoll的调用时间与cpu占用率只会随数据量变大,而几乎不受连接数影响

当连接关闭时,会收到EPOLLIN事件

在ET模式下,不管是监听socket还是连接客户端的socket,在EPOLLIN时,都应该重复read一直到EAGAIN(多次连接进入或者客户端的多次send调用都只产生一次EPOLL事件),否则下次等待EPOLLIN将会挂起,这样对上层应用处理起来更复杂

所以还是推荐用默认的LT模式

在对客户端的发送也可能出现阻塞,所以epoll也应该注册EPOLLOUT,但不是在一开始(那会让所有文件描述符都返回可用,降低epoll的效率,合理的机制应该是这样:对accecpt的客户端连接一开始只注册EPOLLIN事件,触发后接收客户端消息,生成回复,将回复放到一个程序自己的缓冲区内,修改该文件描述符的注册事件为EPOLLIN|EPOLLOUT(视业务逻辑而定,如果要求必须应答发送之前不能接收请求,可只注册EPOLLOUT事件),当EPOLLOUT触发时,将回复发送出去,从缓冲区中删除回复,再修改该连接为注册EPOLLIN事件

即使在单线程程序中(运行在家用笔记本的虚拟机上),在3万个连接的1万个活动连接上,epoll也可以一秒内收发100MB数据(已经接近于Gbit网卡的理论上限),所以如果没有其它的IO活动或者计算处理,单线程的epoll完全可以应付高并发socket通信

如果连接爆发,比如一秒1万个,epoll server会在10+秒内accept完,没必要担心它accept过慢,因为当监听队列不足时,tcp会忽略客户端的SYN报文,这样客户端就会重传,只要给客户端设置一个合适的超时时间,例如15妙,epoll server处理每秒10000个新加连接没有问题


-----一般处理模型

生产者消费者模式,一个线程单独负责从监听socket上accept,它收到新连接后,加锁放入公共buffer,若干个工作线程加锁从公共buffer上取得连接,加入自己的epoll等待集中,等待一定的时间,有数据则进行收发,没数据继续从公共buffer上取连接,但是这里并不适用在线程间用条件变量通知,因为即使公共buffer上没有新连接,工作线程也不应该等待accept线程通知,而是应立即用epoll wait自己已有的连接

不能采用多个线程自主抢占连接的方式,数据在不同连接上是不均匀的,如果一些连接现在数据量现在过大,就会得到很少的新连接,以后又会出现数据饥饿,而那些当时抢占到过多连接的线程以后则会压力过大,处理变慢。应该由单独线程,例如负责accept的线程,分配到每个线程自己的连接队列中等待处理,另外,每个处理线程都采用LT模式,每个活动连接上轮流接收一次消息,然后就取回队列中的新连接,如果采用ET模式,就可能一直忙于在旧连接上收发数据,而冷落新连接。


公司的网络备份软件,采用的是poll/select模型,因为客户端一旦运行备份/恢复任务,在连接就一定有数据收发任务,这种情况下,epoll不能加快性能


对于某些输入io只有一路的程序,数据接收线程 + circle buffer + 数据处理线程是一个比较简单的模型


上面的方案仍然造成数据量的线程处理不过来,数据量小的线程又很空闲,应该采用如下方案

主线程内用epoll接收数据和accept新连接,并解析出消息,放入队列中让所有的线程去抢,至于如何多个线程同时对一个连接发送消息,可以采用与dedupe中多线程处理FP cache(一个hash table)的方案类似,分配与线程数目相同的锁,当处理完消息需要发送时,将连接的文件描述符数除以线程数目,余是多少,就加锁哪个锁,这样,多个线程能尽量分配到不同的锁上增加并发性,而对同一个连接加同一个锁进行互斥的发送

另外,这还需要处理SIGPIPE消息,以免前面一个线程关闭了连接,另一个线程又去发送,产生SIGPIPE信号,使进程exit


原文:http://blog.csdn.net/piaoairy219/article/details/17398545

这篇关于linux 高并发socket通信模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958100

相关文章

linux打包解压命令方式

《linux打包解压命令方式》文章介绍了Linux系统中常用的打包和解压命令,包括tar和zip,使用tar命令可以创建和解压tar格式的归档文件,使用zip命令可以创建和解压zip格式的压缩文件,每... 目录Lijavascriptnux 打包和解压命令打包命令解压命令总结linux 打包和解压命令打

linux如何复制文件夹并重命名

《linux如何复制文件夹并重命名》在Linux系统中,复制文件夹并重命名可以通过使用“cp”和“mv”命令来实现,使用“cp-r”命令可以递归复制整个文件夹及其子文件夹和文件,而使用“mv”命令可以... 目录linux复制文件夹并重命名我们需要使用“cp”命令来复制文件夹我们还可以结合使用“mv”命令总

Linux使用cut进行文本提取的操作方法

《Linux使用cut进行文本提取的操作方法》Linux中的cut命令是一个命令行实用程序,用于从文件或标准输入中提取文本行的部分,本文给大家介绍了Linux使用cut进行文本提取的操作方法,文中有详... 目录简介基础语法常用选项范围选择示例用法-f:字段选择-d:分隔符-c:字符选择-b:字节选择--c

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装(添加RTMP和openssl模块

linux下多个硬盘划分到同一挂载点问题

《linux下多个硬盘划分到同一挂载点问题》在Linux系统中,将多个硬盘划分到同一挂载点需要通过逻辑卷管理(LVM)来实现,首先,需要将物理存储设备(如硬盘分区)创建为物理卷,然后,将这些物理卷组成... 目录linux下多个硬盘划分到同一挂载点需要明确的几个概念硬盘插上默认的是非lvm总结Linux下多

linux进程D状态的解决思路分享

《linux进程D状态的解决思路分享》在Linux系统中,进程在内核模式下等待I/O完成时会进入不间断睡眠状态(D状态),这种状态下,进程无法通过普通方式被杀死,本文通过实验模拟了这种状态,并分析了如... 目录1. 问题描述2. 问题分析3. 实验模拟3.1 使用losetup创建一个卷作为pv的磁盘3.

Linux环境变量&&进程地址空间详解

《Linux环境变量&&进程地址空间详解》本文介绍了Linux环境变量、命令行参数、进程地址空间以及Linux内核进程调度队列的相关知识,环境变量是系统运行环境的参数,命令行参数用于传递给程序的参数,... 目录一、初步认识环境变量1.1常见的环境变量1.2环境变量的基本概念二、命令行参数2.1通过命令编程

Linux之进程状态&&进程优先级详解

《Linux之进程状态&&进程优先级详解》文章介绍了操作系统中进程的状态,包括运行状态、阻塞状态和挂起状态,并详细解释了Linux下进程的具体状态及其管理,此外,文章还讨论了进程的优先级、查看和修改进... 目录一、操作系统的进程状态1.1运行状态1.2阻塞状态1.3挂起二、linux下具体的状态三、进程的