本文主要是介绍Java程序员从笨鸟到菜鸟(四十二) 高并发网络模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一、常用的处理并发网络编程方案
1. IO 多路复用模型
- 思路:单进程调用 select() 函数来处理多个连接请求
- 优点:单进程可同时处理多个网络连接请求
- 缺点:最大并发数为 1024 个,当并发数较大时,处理性能很低
2. 多进程模型
- 思路:当有连接请求时,主进程 fork 产生一个子进程,让子进程与客户端连接进行数据通信,当客户端主动关闭连接时,子进程结束运行
- 优点:模式简单,易于理解,连接请求小时,效率较高
- 缺点:当连接请求过多时,系统资源容易被耗尽
3. 多线程模型
- 思路:首先启动多个工作线程,主线程负责接收连接请求,工作线程负责与客户端进行通信,当连接请求来是,accept 线程将sokid 放入一个数组中,工作线程中的空闲线程从数组中取走一个 sokid ,对应的工作线程再与客户端连接进行数据通信
- 优点:对方案 2 的缺点进行优化
- 缺点:不支持并发量大的请求和量稍大的长连接请求
以上三种方案均不能满足高并发、高性能的服务器处理请求。
二、实现高并发设计方案
采用 2 层设计架构,第一层由接收线程组成,负责接收客户端数据;第二层由工作线程组成,负责对接收的数据进行相应处理,为减少数据的复制和 IO 操作,将收到的客户端数据使用队列进行存储,工作线程接收到处理指令之后,从指令中提取相应的参数,便可直到哪个线程的队列中获取数据
框架1
优点:
- 有效避免线程之间出现锁竞争的情况,每接收到一个线程对应一个接收队列,每个接收线程将收到的数据只放在自己对应的队列中
- 在数据量不是特别大的情况下,此框架能够满足处理请求
缺点:
- 在连接数量少,数据量比较大时,将会造成锁冲突严重,致使性能下降
框架 2
优点
- 有效避免工作线程之间的锁竞争,每个工作线程对应一个接收队列,灭个接收线程将接收到的数据放在自己对应的队列中
- 工作线程数 >= 2 * 接收线程时,能够有效减少接收线程之间的锁竞争情况
如何提高高并发量
并发量是指系统可接受的 TCP 连接请求数,高并发只是一个相对概念
IO 多路复用:一个 select 函数可最多可管理 FD_SETSIZE(一般为 1024)个socket 套接字,而如果要求并发量达到 100k ,这显然大大超过了 1 个select 的管理能力,解决方案:使用大约 100 个 select 才能有效管理 100k 并发,要实现对这 100 个 select 进行有效管理,使用多线程
,即每个线程调用1个 select,而每个 select 可以管理 1024 个并发,但是线程越多,耗费的资源越多,操作系统的调度开销较大,这样会导致系统的性能越低
提高处理性能
Recv 流程
提高 Recv 线程接收来自客户端的数据的性能,处理过程需要用到的技术:IO 多路复用技术、非阻塞 IO 技术、内存池技术、加锁技术、事件触发机制、负载均衡策略、设计模式等
Recv 线程的大体处理流程:
Work 流程
在无处理消息到来之前,一直处于阻塞状态,当有 Recv 线程的处理通知时,则接收消息内容,对消息进行分析,再根据消息的内容到指定的接收队列中取数据,再对数据进行相应的处理
链路分发
Recv 线程是如何分配和获取客户端通信的 SOCKET ,当一个线程通过 TCP 方式绑定指定端口后,其它线程再次绑定该端口,必将返回端口被占用,而如果让一个 Listen 套接字同时加入多个 Recv 线程的 Select 的可读集合进行监听,当有一个新的客户端连接请求到来时,所有的 Recv 线程会被惊醒,这显然应该避免
需要使用的技术
- IO 多路复用
- 非阻塞 IO 技术
- 事件驱动机制
- 线程池技术
- 负载均衡策略
- 内存池技术
- 缓存技术
- 锁技术
- 设计模式
- 高效算法
参考文章传送门:https://blog.csdn.net/quincyfang/article/details/44654351
三、可靠的软件开发
网页编程安全
在并发量大的时候,防火墙会关闭部分网络攻击检测功能,在网页编程时做一些必要的防攻击策略
- 防止 SQL 注入式攻击:对查询的 SQL 字符串进行合法性检查,防止被 SQL 注入攻击后整个数据库被下载
- 防 止人工 F5 刷新式攻击:在主页面、查询页面的客户端代码禁止 F5 按键防止客户端恶意刷新
- 防止人工频繁打开页面刷新式攻击:设置cookie,判断客户端打开页面的时间间隔,低于 2 秒的认为是人工频繁打开页面刷新式攻击,程序控制暂停数秒后,客户端才能跳到查询首页
- 防止程序自动刷新式攻击:检测 HTTP_REFERER 变量,减少可能性
- 隐藏查询嗲吗页面的地址:设置 web 服务器,隐藏查询代码页面的地址,有效防止各类程序自动刷新式攻击
- 图片验证:采用图片验证码
后端采用 epoll + 线程池来提高并发处理能力
epoll 是 linux 内核为处理大批量文件描述符而做了改进的poll,是 linux 下多路复用 IO 接口的增强版本,能显著提高程序在大量并发中只有少量活跃的情况下的系统 CPU 利用率
这篇关于Java程序员从笨鸟到菜鸟(四十二) 高并发网络模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!