Linux_内核缓冲区

2024-06-23 00:04
文章标签 linux 内核 缓冲区

本文主要是介绍Linux_内核缓冲区,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

1、用户缓冲区概念 

2、用户缓冲区刷新策略

3、用户缓冲区的好处 

4、内核缓冲区

5、验证内核缓冲区 

6、用户缓冲区存放的位置 

7、全缓冲 

结语


前言:

        Linux下的内核缓冲区存在于系统中,该缓冲区和用户层面的缓冲区不过同一个概念,用户层面的缓冲区称之为用户缓冲区,而系统中也有自己的缓冲区即内核缓冲区,两者虽然同为缓冲区却差之毫厘谬以千里,了解内核缓冲区前先谈谈用户缓冲区。

1、用户缓冲区概念 

        用户缓冲区是用户空间的标准库(stdio.h)缓冲区的缩写,也就是说标准库会提供一个缓冲区用来存放用户调用文件操作相关的库函数所产生或者接收到的数据,用户缓冲区是程序员在调用库函数时接触最频繁的,比如调用scanf、printf以及其他与文件流相关的函数,并不是直接把数据输入到目的地,中途先把数据放到用户缓冲区内,然后通过刷新缓冲区才能把数据送到目的地,示意图如下:

2、用户缓冲区刷新策略

        有三种刷新用户缓冲区的策略:

1、无缓冲:只要把数据写到缓冲区内就会自动刷新缓冲区,比如系统函数write和read。

2、行缓冲:遇到\n时自动刷新缓冲区,打印到屏幕上时用行缓冲。

3、全缓冲:缓冲区满了才会自动刷新,比如将数据写入磁盘文件。

补充:进程结束时会自动刷新缓冲区。

3、用户缓冲区的好处 

        1、提高效率,有了缓冲区后,数据就不必频繁的传输,也不必频繁的进行系统调用,因为处理少量的数据可以先把数据放到缓冲区内,然后统一进行传输,减少了小块数据的传输次数,以至于提高系统效率。

        2、同一格式化,意思是所有的int类型、float类型都需要转换成字符串的形式存放到缓冲区内,接收方只需要采用字符串形式的处理方式统一处理。 

4、内核缓冲区

        上述说到printf以及其他各种文件流函数会经过用户缓冲区然后再到硬件文件(显示器就是一个硬件文件),其实经过了用户缓冲区后还要调用系统函数wrtie,通过wrtie将用户缓冲区的内容写到内核缓冲区内,最后由系统自动刷新内核缓冲区,才把内容写进硬件文件中,很明显这个内核缓冲区是在系统里的,并且因为库函数接口自动帮助我们调用底层函数,所以这些细节上层并不是关系,因此完整的流程图如下:

         只有当最后一步把数据写到磁盘上的显示器文件时,才算是真正的在屏幕上打印出来。注意:刷新内核缓冲区由系统自动完成。

5、验证内核缓冲区 

        通过上图可以发现printf库函数和用户缓冲区“打交道”,wrtie系统函数和内核缓冲区“打交道”,所以通过下面测试代码,可以证明内核缓冲区和用户缓冲区是两个缓冲区,示例代码如下:

#include <stdio.h>
#include <string.h>
#include <unistd.h>int main()
{const char *fstr = "hello fwrite";const char *str = "hello write";// Cprintf("hello printf"); // stdout -> 1sleep(1);fprintf(stdout, "hello fprintf"); // stdout -> 1sleep(1);fwrite(fstr, strlen(fstr), 1, stdout); // fwrite, stdout->1sleep(1);// 操作提供的系统函数write(1, str, strlen(str)); // 1close(1); //关闭该进程的显示器文件sleep(2);//fork();return 0;
}

         运行结果:

        从运行结果可以发现,只有调用wrtie的数据被打印出来了,前面的三句话都没被打印出来,原因就是close(1)这句代码,并且细心观察会发现所有字符串内容都没加‘\n’,这就导致写入用户缓冲区时不会立刻刷新用户缓冲区,错过了这次的刷新,下次刷新只能等该进程结束时才会自动刷新用户缓冲区了,但是在该进程结束前就关闭了1号文件描述符(即显示器文件),导致之前堆积在用户缓冲区里的数据刷新后找不到对应的内核缓冲区了,因此最终的现象就是用户缓冲区的内容全部没打印在屏幕上。

        但是write的数据却正常打印了,原因就是write跳过了用户缓冲区,直接往内核缓冲区里写,并且在close关闭前会自动刷新内核缓冲区,所以close虽然关闭了1号文件描述符,但是write的数据已经写到显示器文件里了,因此可以正常打印write负责的数据。 

6、用户缓冲区存放的位置 

        我们使用的用户缓冲区存放在c语言标准库为我们封装好的指针FILE* fp所指向的结构体里,示意图如下:

        该结构体里包含了大量的文件相关信息,其中就包括文件描述符以及用户缓冲区,因为printf是默认使用stdout文件流指针的,所以即使不传文件指针给printf也可以在屏幕上打印。 

7、全缓冲 

        当进程里的文件描述符1被重定向至文件中,这时候stdout打印方式从行缓冲变成了全缓冲,即遇到\n后不会刷新用户缓冲区了,只有把用户缓冲区写满才会刷新,或者当进程结束的时候才会刷新缓冲区,让缓冲区里的内容读进文件里。

        示例代码如下:

#include <stdio.h>
#include <string.h>
#include <unistd.h>int main()
{const char *fstr = "hello fwrite\n";const char *str = "hello write\n";// Cprintf("hello printf\n"); // stdout -> 1sleep(1);fprintf(stdout, "hello fprintf\n"); // stdout -> 1sleep(1);fwrite(fstr, strlen(fstr), 1, stdout); // fread, stdout->1sleep(1);// 操作提供的systemcallwrite(1, str, strlen(str)); // 1sleep(2);//close(1);fork();return 0;
}

        运行结果:

        从结果发现调用库函数打印的数据在文件中写了两份,而调用系统函数打印的数据只写了一份,根本原因很简单,就是因为程序的末尾使用fork创建了子进程,但是具体为什么创建子进程后会让有些数据打印两份有些数据打印一份呢?

原因如下:

        1、文件是全缓冲,所以数据会在缓冲区内堆积。

        2、进程退出的时候会刷新缓冲区,会引发写时拷贝,因此会给另一个进程拷贝一份缓冲区的内容。

        3、write负责的数据没有写两份的原因是write是系统调用接口(一个struct file只有一个内核缓冲区),他跳过用户缓冲区,并把数据写到内核缓冲区内,所以不会引发写时拷贝。

        示意图如下:

结语

         以上就是关于内核缓冲区以及用户缓冲区的全部讲解,理解内核缓冲区的前提是了解文件流流向的整个过程,因此必须了解c标准库提供给用户的标准库缓冲区又称用户缓冲区的概念,并且若想拿到缓冲区里的内容给到“下一站”,则必须刷新缓冲区。

这篇关于Linux_内核缓冲区的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1085778

相关文章

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装(添加RTMP和openssl模块

linux下多个硬盘划分到同一挂载点问题

《linux下多个硬盘划分到同一挂载点问题》在Linux系统中,将多个硬盘划分到同一挂载点需要通过逻辑卷管理(LVM)来实现,首先,需要将物理存储设备(如硬盘分区)创建为物理卷,然后,将这些物理卷组成... 目录linux下多个硬盘划分到同一挂载点需要明确的几个概念硬盘插上默认的是非lvm总结Linux下多

linux进程D状态的解决思路分享

《linux进程D状态的解决思路分享》在Linux系统中,进程在内核模式下等待I/O完成时会进入不间断睡眠状态(D状态),这种状态下,进程无法通过普通方式被杀死,本文通过实验模拟了这种状态,并分析了如... 目录1. 问题描述2. 问题分析3. 实验模拟3.1 使用losetup创建一个卷作为pv的磁盘3.

Linux环境变量&&进程地址空间详解

《Linux环境变量&&进程地址空间详解》本文介绍了Linux环境变量、命令行参数、进程地址空间以及Linux内核进程调度队列的相关知识,环境变量是系统运行环境的参数,命令行参数用于传递给程序的参数,... 目录一、初步认识环境变量1.1常见的环境变量1.2环境变量的基本概念二、命令行参数2.1通过命令编程

Linux之进程状态&&进程优先级详解

《Linux之进程状态&&进程优先级详解》文章介绍了操作系统中进程的状态,包括运行状态、阻塞状态和挂起状态,并详细解释了Linux下进程的具体状态及其管理,此外,文章还讨论了进程的优先级、查看和修改进... 目录一、操作系统的进程状态1.1运行状态1.2阻塞状态1.3挂起二、linux下具体的状态三、进程的

Linux编译器--gcc/g++使用方式

《Linux编译器--gcc/g++使用方式》文章主要介绍了C/C++程序的编译过程,包括预编译、编译、汇编和链接四个阶段,并详细解释了每个阶段的作用和具体操作,同时,还介绍了调试和发布版本的概念... 目录一、预编译指令1.1预处理功能1.2指令1.3问题扩展二、编译(生成汇编)三、汇编(生成二进制机器语

Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南

《Rsnapshot怎么用?基于Rsync的强大Linux备份工具使用指南》Rsnapshot不仅可以备份本地文件,还能通过SSH备份远程文件,接下来详细介绍如何安装、配置和使用Rsnaps... Rsnapshot 是一款开源的文件系统快照工具。它结合了 Rsync 和 SSH 的能力,可以帮助你在 li

Linux部署jar包过程

《Linux部署jar包过程》文章介绍了在Linux系统上部署Java(jar)包时需要注意的几个关键点,包括统一JDK版本、添加打包插件、修改数据库密码以及正确执行jar包的方法... 目录linux部署jar包1.统一jdk版本2.打包插件依赖3.修改密码4.执行jar包总结Linux部署jar包部署