Linux 的 splice 和sendfile系统调用

2024-06-19 16:18

本文主要是介绍Linux 的 splice 和sendfile系统调用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

出自:http://hi.baidu.com/widebright/item/f2e98bcb64239e46a9ba948e


都是为了减少用户和内核直接的数据复制的, 就是所谓的 “zero copy”。


普通的 read 和write系统调用,数据需要从内核空间复制到用户空间的。 


sendfile

      http://linux.die.net/man/2/sendfile 

      http://lxr.linux.no/linux+v3.5.4/fs/read_write.c#L1000 

      在两个文件描述符之间传输数据,不用拷贝。  但 输入的描述符必须是真正的文件, 输出的文件描述符可以是 socket。 这也是sendfile的由来吧。他是从文件的缓存页 page cache里面直接把数据传输到另外一个描述符里面去,省去用户空间和内核空间的复制。 看当前代码他是使用一个专门的do_splice_direct 函数来实现的。 思路跟 splice是一样的,也需要使用pipe来做中介,但他这个do_splice_direct  使用一个每个进程缓存(在 corrent指针的 splice_pipe)的一个pipe,可以少用一次系统调用(正常的splice需要从  文件到 pipe,然后再从pipe到socket,有两次调用)。

      这个sendfile应用场合,比如像http服务器,直接把htm源文件读出来发送给客户可对应的socket时,用这个sendfile就很合适。减少数据复制的同时,应该 系统调用的次数也减少了。  看网上共识,这种应用环境使用sendfile可以提到性能是不争的事实。


splice  

      http://linux.die.net/man/2/splice 

      http://lwn.net/Articles/119680/ 

      http://yarchive.net/comp/linux/splice.html 

      http://lxr.linux.no/linux+v3.5.4/fs/splice.c 

      在两个文件描述符之间传输数据,不用拷贝。但输入和输出文件描述符必须有一个是pipe。也就是说如果你需要从一个socket 传输数据到另外一个socket,是需要使用 pipe来做为中介的。 pipe buffer被抽象出来,当作 “内核缓存结构”, 一种流缓冲,可以理解成你的数据从写入 “内核流缓存”里面,然后在从 一个”内核流缓存“复制到另外一个比如说socket的缓存。全部数据都是在内核空间进行。 当然你的数据复制也是不用复制,他那个pipe buffer本来就是 使用page去管理缓存的,就是 缓存地址加偏移地址的办法,只是Linus 觉splice的需要很像之前的pipe思想,所以splice就用这个个pipe来作为”内核缓存结构“了。

      看起来splice是可以避免数据的复制,应该能获得更好的性能。但好像网上的评测,一些人使用了splice之后性能反而下降。其实大家最想要的还是从socket到socket的 ”零拷贝“技术,这样那些代理服务器啊什么的转发数据的时候就可以提高性能。但这个splice用到这个场合的话, 还是需要一个pipe来做中介的,要调用两个splice才能把数据从一个socket移到另外一个socket。

         splice (socket1_fd,  pipe_fd

         splice (pipl_fd, socket2_fd

这样,系统调用同样需要两次。read write也需要两次。系统调用次数没有减少,不像sendfile那样可以减少一个系统调用。  数据复制的代价,可能数据包比较小时,影响应该是比较小的,所以 splice没有起到意想的作用。有人用性能工具比较了splice的时候的内核调用的区别,说只是性能消耗的地方转移了而已。这个需要那个高人来使用最新的内核测试分析一下了。


         haproxy有配置使不使用splice的选项,splice的使用也可以去参考一下 haproxy的代码。

这篇关于Linux 的 splice 和sendfile系统调用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1075524

相关文章

Python调用Orator ORM进行数据库操作

《Python调用OratorORM进行数据库操作》OratorORM是一个功能丰富且灵活的PythonORM库,旨在简化数据库操作,它支持多种数据库并提供了简洁且直观的API,下面我们就... 目录Orator ORM 主要特点安装使用示例总结Orator ORM 是一个功能丰富且灵活的 python O

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署

Java调用DeepSeek API的最佳实践及详细代码示例

《Java调用DeepSeekAPI的最佳实践及详细代码示例》:本文主要介绍如何使用Java调用DeepSeekAPI,包括获取API密钥、添加HTTP客户端依赖、创建HTTP请求、处理响应、... 目录1. 获取API密钥2. 添加HTTP客户端依赖3. 创建HTTP请求4. 处理响应5. 错误处理6.

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装(添加RTMP和openssl模块

linux下多个硬盘划分到同一挂载点问题

《linux下多个硬盘划分到同一挂载点问题》在Linux系统中,将多个硬盘划分到同一挂载点需要通过逻辑卷管理(LVM)来实现,首先,需要将物理存储设备(如硬盘分区)创建为物理卷,然后,将这些物理卷组成... 目录linux下多个硬盘划分到同一挂载点需要明确的几个概念硬盘插上默认的是非lvm总结Linux下多

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

在不同系统间迁移Python程序的方法与教程

《在不同系统间迁移Python程序的方法与教程》本文介绍了几种将Windows上编写的Python程序迁移到Linux服务器上的方法,包括使用虚拟环境和依赖冻结、容器化技术(如Docker)、使用An... 目录使用虚拟环境和依赖冻结1. 创建虚拟环境2. 冻结依赖使用容器化技术(如 docker)1. 创

linux进程D状态的解决思路分享

《linux进程D状态的解决思路分享》在Linux系统中,进程在内核模式下等待I/O完成时会进入不间断睡眠状态(D状态),这种状态下,进程无法通过普通方式被杀死,本文通过实验模拟了这种状态,并分析了如... 目录1. 问题描述2. 问题分析3. 实验模拟3.1 使用losetup创建一个卷作为pv的磁盘3.

一分钟带你上手Python调用DeepSeek的API

《一分钟带你上手Python调用DeepSeek的API》最近DeepSeek非常火,作为一枚对前言技术非常关注的程序员来说,自然都想对接DeepSeek的API来体验一把,下面小编就来为大家介绍一下... 目录前言免费体验API-Key申请首次调用API基本概念最小单元推理模型智能体自定义界面总结前言最