Linux性能优化实战 35:C10K 和 C1000K 问题

2023-10-30 21:58

本文主要是介绍Linux性能优化实战 35:C10K 和 C1000K 问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、定义:

1. C10K 就是单机同时处理 1 万个请求(并发连接 1 万)的问题

2. C1000K 也就是单机支持处理 100 万个请求(并发连接 100 万)的问题、

 

二、I/O 模型优化

1. 两种 I/O 事件通知的方式:水平触发边缘触发

(1) 水平触发:只要文件描述符可以非阻塞地执行 I/O ,就会触发通知。

                      应用程序持续检查文件描述符的状态,根据状态进行 I/O 操作。

(2) 边缘触发:只有在文件描述符的状态发生改变(也就是 I/O 请求达到)时,才发送一次通知。

                应用程序需要尽可能多地执行 I/O,直到无法继续读写,才可以停止。如果 I/O 没执行完,那么这次通知也就丢失了。

2. I/O 多路复用的方法1:   使用非阻塞 I/O 和水平触发通知,比如使用 select 或者 poll。

(1) select 使用固定长度的位相量,会有最大描述符数量的限制,默认限制是 1024。

     检查套接字状态是用轮询,再加上应用软件使用时的轮询,复杂度是O(n平方)

(2) poll 换成了一个没有固定长度的数组,没有最大描述符数量的限制。

     同样需要对文件描述符列表进行轮询,复杂度是O(n)

(3) 每次调用 select 和 poll 时,还需要把文件描述符的集合,从用户空间传入内核空间,由内核修改后,再传出到用户空间。

       这一来一回的切换,也增加了处理成本。

3. I/O 多路复用的方法2:   使用非阻塞 I/O 和边缘触发通知,比如epoll。

(1) epoll 使用红黑树,在内核中管理文件描述符的集合,不需要应用程序在每次操作时传入、传出这个集合.

(2) epoll 使用事件驱动的机制,只关注有 I/O 事件发生的文件描述符,不需要轮询扫描整个集合。复杂度是O(1)

4. I/O 多路复用的方法3:   使用异步 I/O, 比如glibc 提供的异步 I/O 库

(1) 异步 I/O 允许应用程序同时发起很多 I/O 操作

(2) I/O 完成后,系统会用事件通知的方式,告诉应用程序。应用程序才会去查询 I/O 操作的结果。

5. I/O 多路复用下的工作模型

     主进程 + 多个 worker 子进程,这也是最常用的一种模型。

(1) 主进程执行 bind() + listen() 后,创建多个子进程;

(2) 每个子进程都 accept() 或epoll_wait() ,来处理相同的套接字。

 

三、C10K,C100K问题解决

1. Linux 2.6 中引入的 epoll ,完美解决了 C10K 的问题,现在的高性能网络方案都基于epoll。

2. 从 C10K 到 C100K ,只需要增加系统的物理资源就可以满足

 

四、C1000K解决方案

      本质上还是构建在 epoll 的非阻塞 I/O 模型上。

      除了 I/O 模型之外,还需要从应用程序到 Linux 内核、再到 CPU、内存和网络等各个层次的深度优化。

      特别是需要借助硬件,来卸载那些原来通过软件处理的大量功能。

 

五、C10M解决方案

      要解决这个问题,最重要就是跳过内核协议栈的冗长路径,把网络包直接送到要处理的应用程序那里去。这里有两种常见的机制,DPDK 和 XDP。

(1) DPDK: 是用户态网络的标准。它跳过内核协议栈,直接由用户态进程通过轮询的方式,来处理网络接收。

                    每时每刻都有新的网络包需要处理,轮询的优势就很明显。

(2) XDP:是 Linux 内核提供的一种高性能网络数据路径。它允许网络包,在进入内核协议栈之前,就进行处理,也可以带来更高的性能。

 

这篇关于Linux性能优化实战 35:C10K 和 C1000K 问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/310826

相关文章

Linux内核参数配置与验证详细指南

《Linux内核参数配置与验证详细指南》在Linux系统运维和性能优化中,内核参数(sysctl)的配置至关重要,本文主要来聊聊如何配置与验证这些Linux内核参数,希望对大家有一定的帮助... 目录1. 引言2. 内核参数的作用3. 如何设置内核参数3.1 临时设置(重启失效)3.2 永久设置(重启仍生效

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

如何解决idea的Module:‘:app‘platform‘android-32‘not found.问题

《如何解决idea的Module:‘:app‘platform‘android-32‘notfound.问题》:本文主要介绍如何解决idea的Module:‘:app‘platform‘andr... 目录idea的Module:‘:app‘pwww.chinasem.cnlatform‘android-32

在Spring Boot中浅尝内存泄漏的实战记录

《在SpringBoot中浅尝内存泄漏的实战记录》本文给大家分享在SpringBoot中浅尝内存泄漏的实战记录,结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录使用静态集合持有对象引用,阻止GC回收关键点:可执行代码:验证:1,运行程序(启动时添加JVM参数限制堆大小):2,访问 htt

kali linux 无法登录root的问题及解决方法

《kalilinux无法登录root的问题及解决方法》:本文主要介绍kalilinux无法登录root的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,... 目录kali linux 无法登录root1、问题描述1.1、本地登录root1.2、ssh远程登录root2、

SpringBoot应用中出现的Full GC问题的场景与解决

《SpringBoot应用中出现的FullGC问题的场景与解决》这篇文章主要为大家详细介绍了SpringBoot应用中出现的FullGC问题的场景与解决方法,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录Full GC的原理与触发条件原理触发条件对Spring Boot应用的影响示例代码优化建议结论F

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

Linux ls命令操作详解

《Linuxls命令操作详解》通过ls命令,我们可以查看指定目录下的文件和子目录,并结合不同的选项获取详细的文件信息,如权限、大小、修改时间等,:本文主要介绍Linuxls命令详解,需要的朋友可... 目录1. 命令简介2. 命令的基本语法和用法2.1 语法格式2.2 使用示例2.2.1 列出当前目录下的文

Pyserial设置缓冲区大小失败的问题解决

《Pyserial设置缓冲区大小失败的问题解决》本文主要介绍了Pyserial设置缓冲区大小失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录问题描述原因分析解决方案问题描述使用set_buffer_size()设置缓冲区大小后,buf

resultMap如何处理复杂映射问题

《resultMap如何处理复杂映射问题》:本文主要介绍resultMap如何处理复杂映射问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录resultMap复杂映射问题Ⅰ 多对一查询:学生——老师Ⅱ 一对多查询:老师——学生总结resultMap复杂映射问题