缓冲区设置

2024-06-14 13:12
文章标签 设置 缓冲区

本文主要是介绍缓冲区设置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

缓冲区设计

一、简介

在网络通讯中,用户态缓冲区和内核态缓冲区的大小设定对于优化网络性能和确保数据传输可靠性至关重要。下图是网路通讯的内核缓冲区使用情况:
在这里插入图片描述
数据的读写都需要进行系统调用,从用户态切换到内核态去接收数据,结束后需要切换回用户态;
在这里插入图片描述

二、网络数据的传输过程:
  • 发送
    1. 应用程序通过系统调用将用户数据拷贝sk_buff,并放到socket的发送缓冲区中
    2. 网络协议栈从socket法案送缓冲区中取出sk_buffer,并克隆一个新的sk_buffer(用于丢失重传)
    3. 向下依次增加TCP/UDP头部、IP头部、帧头(MAC头)、帧尾,(tcp层进行数据分段、IP层进行数据分片)
    4. 触发软件中断,通知网卡驱动程序有新的网络数据需要发送
    5. 网卡驱动程序从发送队列中取出sk_buffer写到ringbuffer(内存DMA区域)
    6. 网卡发送数据,发送成功后触发硬件中断,释放sk_buffer和ringbuffer没存
    7. 当接收到tcp报文的ack应答后释放sk_buffer
  • 接收
    1. 网卡接收到数据包,通过DMA协处理器将数据写入内存ringbuffer结构中
    2. 网卡向cpu发起硬件中断,cpu收到中断请求,根据中断表查找中断处理函数,进行中断处理
    3. 中断处理函数将屏蔽中断,发起软件中断
    4. 内核ksoftirqd软件中断线程负责软件中断处理,该线程从ringbuffer中逐个取出数据帧到sk_buffer
    5. 从帧头取出ip协议,去掉帧头帧尾
    6. 根据协议五元组找到socket,并将数据取出放到sicket的接收缓冲区中,软件中断处理结束后开启硬件中断
    7. 应用程序通过系统调用将socket中的接收缓冲区的数据拷贝到用户层缓冲区
用户态缓冲区(User-Space Buffer)

用户态缓冲区是指在应用程序地址空间中分配的缓冲区,用于存储待发送或已接收的数据。调整用户态缓冲区的大小可以影响应用程序处理数据的能力,特别是在高吞吐量或低延迟要求的场景中。

  • 在C/C++中,可以通过setsockopt函数来调整TCP或UDP套接字的发送(SO_SNDBUF)和接收(SO_RCVBUF)缓冲区大小。例如:

    1int snd_buff_size = 8192; // 自定义的发送缓冲区大小
    2int rcv_buff_size = 16384; // 自定义的接收缓冲区大小
    3setsockopt(sockfd, SOL_SOCKET, SO_SNDBUF, &snd_buff_size, sizeof(snd_buff_size));
    4setsockopt(sockfd, SOL_SOCKET, SO_RCVBUF, &rcv_buff_size, sizeof(rcv_buff_size));
    
  • 注意,实际设置的缓冲区大小可能会受到操作系统限制,并且可能不是精确设置的值。有时,内核可能会调整至最接近的允许值,通常是用户请求值的两倍。

三、内核态缓冲区(Kernel-Space Buffer)

内核态缓冲区是操作系统内核管理的一部分,用于在网络接口和用户空间之间暂存数据。它的大小直接影响到网络数据包的处理效率,尤其是在网络拥塞或高流量情况下。

  • 对于Linux系统,可以通过修改内核参数来调整某些类型的内核缓冲区大小,例如通过编辑/etc/sysctl.conf文件或使用sysctl命令动态调整。例如,调整网络接收缓冲区的默认最小值和最大值:

    # 动态调整
    sudo sysctl -w net.core.rmem_default=xxxx # 设定默认接收缓冲区大小
    sudo sysctl -w net.core.rmem_max=yyyy    # 设定最大接收缓冲区大小# 或者永久修改,在/etc/sysctl.conf中添加:
    net.core.rmem_default=xxxx
    net.core.rmem_max=yyyy
    
  • 对于特定设备,如串口,可以通过Linux命令行工具(如stty)或者编程方式来调整其缓冲区大小。

设置原则

  • 缓冲区大小的选择应基于实际应用场景,包括网络带宽、期望的延迟、以及可能遇到的网络拥塞情况。
  • 通常,较大的缓冲区可以减少数据包丢失,但在高流量下可能导致更高的延迟,因为数据在缓冲区中排队等待处理的时间更长。
  • 较小的缓冲区可以降低延迟,但在网络拥塞时更容易导致数据包丢失。
  • 最佳实践是通过测试和监控来确定最适合的缓冲区大小,有时这可能需要多次调整和验证。
四、缓冲区的设计
  • read/write阻塞io,通过阻塞线程的方式等待io就绪
  • reactor网络模型,io多路复用检测多路连接io是否就绪,在事件循环中依次处理操作io
  • proactor网络模型,异步io,内核完成检测io以及操作io,等待完成后向用户层抛出完成通知

以上这几种网络都对用户态的缓冲区设计没有影响

1、设计方案:
  • 定长的buffer

    • 优点:结构简单
    • 缺点:频繁挪动数据;没有扩容和缩容机制
  • 环形缓冲区ringbuffer

    • 优点:环形结构,不需要挪动数据
    • 缺点:空间不连续;没有扩容和缩容机制
      结构设计入下
      在这里插入图片描述
  • chainbuffer

    • 优点:不需要挪动数据,可以实现动态扩容和缩容

      结构设计图如下: 在这里插入图片描述

2、环形缓冲区

下面主要介绍一下ringbufeer,其数据结构为

struct ringbuffer_s {uint32_t size;	// 环形结构的大小uint32_t tail;	// 尾指针uint32_t head;	// 头指针uint8_t * buf;	// 数据指针
};

创建环形缓冲区

// 用于将num值扩展大最近比num值大的2^n的值,用于后面计算优化(将取余操作优化为位运算操作)
static inline uint32_t roundup_power_of_two(uint32_t num) {if (num == 0) return 2;int i = 0;for (; num != 0; i++)num >>= 1;return 1U << i;
}
buffer_t * buffer_new(uint32_t sz) {if (!is_power_of_two(sz)) sz = roundup_power_of_two(sz);// 创建buffer时大小要加上结构体本身的大小buffer_t * buf = (buffer_t *)malloc(sizeof(buffer_t) + sz);if (!buf) {return NULL;}buf->size = sz;buf->head = buf->tail = 0;buf->buf = (uint8_t *)(buf + 1);return buf;
}

添加数据

int buffer_add(buffer_t *r, const void *data, uint32_t sz) {if (sz > rb_remain(r)) {return -1;}uint32_t i;// 当前位置到尾部的空间大小是否满足插入数据的大小i = min(sz, r->size - (r->tail & (r->size - 1)));// 插入到数据尾部memcpy(r->buf + (r->tail & (r->size - 1)), data, i);// 剩余的数据插到头部memcpy(r->buf, data+i, sz-i);r->tail += sz;return 0;
}

数据获取移除

// 数据移除只需要移动指针的位置即可
int buffer_remove(buffer_t *r, void *data, uint32_t sz) {assert(!rb_isempty(r));uint32_t i;sz = min(sz, r->tail - r->head);i = min(sz, r->size - (r->head & (r->size - 1)));// 将数据拷贝到data中memcpy(data, r->buf+(r->head & (r->size - 1)), i);memcpy(data+i, r->buf, sz-i);// 更新数据头指针位置,移除数据r->head += sz;return sz;
}

数据空间位置调整

// 将数据挪动到头部位置,使得数据保持连续
uint8_t * buffer_write_atmost(buffer_t *r) {// 使用位操作代替取余操作,size必须要是2^nuint32_t rpos = r->head & (r->size - 1);uint32_t wpos = r->tail & (r->size - 1);if (wpos < rpos) {// 数据不连续,挪动数据,使其保持连续uint8_t* temp = (uint8_t *)malloc(r->size * sizeof(uint8_t));memcpy(temp, r->buf+rpos, r->size - rpos);memcpy(temp+r->size-rpos, r->buf, wpos);free(r->buf);r->buf = temp;return r->buf;}// 返回数据起始位置return r->buf + rpos;
}

专属学习链接:https://xxetb.xetslk.com/s/36yiy3

这篇关于缓冲区设置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1060500

相关文章

PyCharm如何设置新建文件默认为LF换行符

《PyCharm如何设置新建文件默认为LF换行符》:本文主要介绍PyCharm如何设置新建文件默认为LF换行符问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录PyCharm设置新建文件默认为LF换行符设置换行符修改换行符总结PyCharm设置新建文件默认为LF

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在

Python循环缓冲区的应用详解

《Python循环缓冲区的应用详解》循环缓冲区是一个线性缓冲区,逻辑上被视为一个循环的结构,本文主要为大家介绍了Python中循环缓冲区的相关应用,有兴趣的小伙伴可以了解一下... 目录什么是循环缓冲区循环缓冲区的结构python中的循环缓冲区实现运行循环缓冲区循环缓冲区的优势应用案例Python中的实现库

Linux中的缓冲区和文件系统详解

《Linux中的缓冲区和文件系统详解》:本文主要介绍Linux中的缓冲区和文件系统方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、FILE结构1、fd2、缓冲区二、文件系统1、固态硬盘2、逻辑地址LBA(一)数据块 Data blocks(二)inode表

Ubuntu中Nginx虚拟主机设置的项目实践

《Ubuntu中Nginx虚拟主机设置的项目实践》通过配置虚拟主机,可以在同一台服务器上运行多个独立的网站,本文主要介绍了Ubuntu中Nginx虚拟主机设置的项目实践,具有一定的参考价值,感兴趣的可... 目录简介安装 Nginx创建虚拟主机1. 创建网站目录2. 创建默认索引文件3. 配置 Nginx4

如何关闭 Mac 触发角功能或设置修饰键? mac电脑防止误触设置技巧

《如何关闭Mac触发角功能或设置修饰键?mac电脑防止误触设置技巧》从Windows换到iOS大半年来,触发角是我觉得值得吹爆的MacBook效率神器,成为一大说服理由,下面我们就来看看mac电... MAC 的「触发角」功能虽然提高了效率,但过于灵敏也让不少用户感到头疼。特别是在关键时刻,一不小心就可能触

Nginx配置系统服务&设置环境变量方式

《Nginx配置系统服务&设置环境变量方式》本文介绍了如何将Nginx配置为系统服务并设置环境变量,以便更方便地对Nginx进行操作,通过配置系统服务,可以使用系统命令来启动、停止或重新加载Nginx... 目录1.Nginx操作问题2.配置系统服android务3.设置环境变量总结1.Nginx操作问题

grom设置全局日志实现执行并打印sql语句

《grom设置全局日志实现执行并打印sql语句》本文主要介绍了grom设置全局日志实现执行并打印sql语句,包括设置日志级别、实现自定义Logger接口以及如何使用GORM的默认logger,通过这些... 目录gorm中的自定义日志gorm中日志的其他操作日志级别Debug自定义 Loggergorm中的

前端 CSS 动态设置样式::class、:style 等技巧(推荐)

《前端CSS动态设置样式::class、:style等技巧(推荐)》:本文主要介绍了Vue.js中动态绑定类名和内联样式的两种方法:对象语法和数组语法,通过对象语法,可以根据条件动态切换类名或样式;通过数组语法,可以同时绑定多个类名或样式,此外,还可以结合计算属性来生成复杂的类名或样式对象,详细内容请阅读本文,希望能对你有所帮助...

MySQL8.0设置redo缓存大小的实现

《MySQL8.0设置redo缓存大小的实现》本文主要在MySQL8.0.30及之后版本中使用innodb_redo_log_capacity参数在线更改redo缓存文件大小,下面就来介绍一下,具有一... mysql 8.0.30及之后版本可以使用innodb_redo_log_capacity参数来更改