写时复制(COW)详解

2023-11-09 18:10
文章标签 详解 cow 复制 写时

本文主要是介绍写时复制(COW)详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、写时复制简介

写时复制Copy-on-write,简称COW)是一种计算机程序设计领域的优化策略。其核心思想是,如果有多个调用者(callers)同时请求相同资源(如内存或磁盘上的数据存储),他们会共同获取相同的指针指向相同的资源,直到某个调用者试图修改资源的内容时,系统才会真正复制一份专用副本(private copy)给该调用者,而其他调用者所见到的最初的资源仍然保持不变。这过程对其他的调用者都是透明的。此作法主要的优点是如果调用者没有修改该资源,就不会有副本(private copy)被创建,因此多个调用者只是读取操作时可以共享同一份资源。

2、用途:

虚拟内存管理中的写时复制

一般把这种被共享访问的页面标记为只读。当一个task试图向内存中写入数据时,内存管理单元(MMU)抛出一个异常,内核处理该异常时为该task分配一份物理内存并复制数据到此内存,重新向MMU发出执行该task的写操作。

数据存储中的写时复制

Linux等的文件管理系统使用了写时复制策略。

数据库服务器也一般采用了写时复制策略,为用户提供一份snapshot。

软件应用中的写时复制

C++标准程序库中的std::string类,在C++98/C++03标准中是允许写时复制策略。但在C++11标准中为了提高并行性取消了这一策略。[1] GCC从版本5开始,std::string不再采用COW策略。

3、写时复制详解

COW是存储系统中使用的基本更新策略之一(还有就地更新(UIP))。基本模式永远不会覆盖旧数据。使用COW策略更新数据块时,数据块被读入内存,进行修改,然后写入新位置,而旧数据则保持不变。由于COW永远不会覆盖旧数据,因此通常用于防止由于本地文件系统中的系统崩溃而导致数据丢失,COW更新策略已在存储系统中广泛使用

但是COW引入了令人不愉快的递归更新过程。文件系统可以看作是由磁盘块组成的大树,当使用COW策略修改叶块时,还需要修改其父节点以更新修改后的子块的新位置。此更新过程将递归进行,直到到达根块为止,该根块可以在磁盘上的固定位置进行更新。我们将这样的过程定义为递归更新。递归更新可能会导致存储系统出现多种副作用,例如WRITE放大,I / O模式变更和性能下降

缺点:

  1. 放大:递归更新可能会导致写放大,比如应用程序只需要修改一个叶子数据块F 但是,递归更新导致总共修改了四个父级节点(F->D->A->Root)。实际刷新的数据高达4 × 请求的数据。实际上,由于在这种情况下忽略了由块分配引起的递归更新,因此修改的块数量可能会更高。
  2. 性能下降 WRITE放大会引入其他数据以进行写入,这最终可能会降低文件系统的性能。

优点:

  1. 保护数据:本地文件系统.由于有备份机制,不会因为文件系统崩溃导致大量甚至全部数据丢失.
  2. 提高性能:日志结构的文件系统,例如Sprite LFS,使用COW更新策略将访问模式从大量的小随机写入转换为单个大的顺序WRITE,从而利用了磁盘顺序I / O带来的高性能。
  3. 在特殊介质上更新数据:一次写入多次读取的介质,例如光盘,使用COW实施随机WRITE。闪存文件系统使用COW优化更新过程,这有助于提高WRITE性能并实现损耗均衡。

4、fork和cow

cow是一种优化策略,fork是linux提供的创建新线程的方法,大多数的fork实现借用了cow策略来节省内存空间.

子进程和父进程继续执行fork之后的指令。子进程是父进程的复制品。例如,子进程获得
父进程数据空间、堆和栈的复制品。注意,这是子进程所拥有的拷贝。父、子进程并不共享这
些存储空间部分。如果正文段是只读的,则父、子进程共享正文段 ,
现在很多的实现并不做一个父进程数据段和堆的完全拷贝,因为在fork之后经常跟随着

exec。作为替代,使用了在写时复制技术。这些区域由父、子进程共

享,而且内核将它们的存取许可权改变为只读的。如果有进程试图修改这些区域,则内核为有
关部分,典型的是虚存系统中的“页” .

fork细节:一般来说,在fork之后是父进程先执行还是子进程先执行是不确定的。这取决于内核所使用的

调度算法。如果要求父、子进程之间相互同步,则要求某种形式的进程间通信

总结:所以在使用fork在借用cow策略实现时,其实父子进程会共享数据段、代码段、堆,而栈是父子进程独有的.

5、vfork和fork

vfork也用于创建一个新进程,而该新进程的目的是调用exec执行一个新程序。但vfork它并不将父进程的地址空间完全复制到子进程中,因为子进程会立即调用 exec(exit),于

是也就不会存访该地址空间。不过在子进程调用 exec或exit之前,它在父进程的空间中运行。
这种工作方式在某些 U N I X的页式虚存实现中提高了效率(和fork类似即:在fork之后跟随
exec,并采用在写时复制技术相类似) 。
vfork和fork之间的另一个区别是:vfork保证子进程先运行,在它调用exec或exit之后父进
程才可能被调度运行。 (如果在调用这两个函数之前子进程依赖于父进程的进一步动作,则会
导致死锁。子进程在exec和exit之前其实运行在父进程的内存空间,所以子进程的数据操作其实是在修改父进程的对应数据.操作不当有可能导致进程崩溃.所以vfork之后建议立即执行exec或exit

tips:UIP是将目标块读入内存,进行修改,然后在其原始位置写入磁盘(覆盖旧数据)

引用:
1.https://en.wikipedia.org/wiki/Copy-on-write

2.https://ieeexplore.ieee.org/abstract/document/6879362/similar#similar

3.《unix环境高级编程第8章》

 干货将在我的微信公众号:小梁编程汇 持续更新。喜欢的话可以关注我微信公众哦
                                在这里插入图片描述

这篇关于写时复制(COW)详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/377756

相关文章

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

6.1.数据结构-c/c++堆详解下篇(堆排序,TopK问题)

上篇:6.1.数据结构-c/c++模拟实现堆上篇(向下,上调整算法,建堆,增删数据)-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小): 2.2 C语言代码(手写堆) 2.3 C++代码(使用优先级队列 priority_queue)

K8S(Kubernetes)开源的容器编排平台安装步骤详解

K8S(Kubernetes)是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述: 安装步骤: 安装Docker:K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master:在集群中选择一台主机作为Master节点,安装K8S的控制平面组件,如AP

嵌入式Openharmony系统构建与启动详解

大家好,今天主要给大家分享一下,如何构建Openharmony子系统以及系统的启动过程分解。 第一:OpenHarmony系统构建      首先熟悉一下,构建系统是一种自动化处理工具的集合,通过将源代码文件进行一系列处理,最终生成和用户可以使用的目标文件。这里的目标文件包括静态链接库文件、动态链接库文件、可执行文件、脚本文件、配置文件等。      我们在编写hellowor

LabVIEW FIFO详解

在LabVIEW的FPGA开发中,FIFO(先入先出队列)是常用的数据传输机制。通过配置FIFO的属性,工程师可以在FPGA和主机之间,或不同FPGA VIs之间进行高效的数据传输。根据具体需求,FIFO有多种类型与实现方式,包括目标范围内FIFO(Target-Scoped)、DMA FIFO以及点对点流(Peer-to-Peer)。 FIFO类型 **目标范围FIFO(Target-Sc

019、JOptionPane类的常用静态方法详解

目录 JOptionPane类的常用静态方法详解 1. showInputDialog()方法 1.1基本用法 1.2带有默认值的输入框 1.3带有选项的输入对话框 1.4自定义图标的输入对话框 2. showConfirmDialog()方法 2.1基本用法 2.2自定义按钮和图标 2.3带有自定义组件的确认对话框 3. showMessageDialog()方法 3.1

脏页的标记方式详解

脏页的标记方式 一、引言 在数据库系统中,脏页是指那些被修改过但还未写入磁盘的数据页。为了有效地管理这些脏页并确保数据的一致性,数据库需要对脏页进行标记。了解脏页的标记方式对于理解数据库的内部工作机制和优化性能至关重要。 二、脏页产生的过程 当数据库中的数据被修改时,这些修改首先会在内存中的缓冲池(Buffer Pool)中进行。例如,执行一条 UPDATE 语句修改了某一行数据,对应的缓

禁止复制的网页怎么复制

禁止复制的网页怎么复制 文章目录 禁止复制的网页怎么复制前言准备工作操作步骤一、在浏览器菜单中找到“开发者工具”二、点击“检查元素(inspect element)”按钮三、在网页中选取需要的片段,锁定对应的元素四、复制被选中的元素五、粘贴到记事本,以`.html`为后缀命名六、打开`xxx.html`,优雅地复制 前言 在浏览网页的时候,有的网页内容无法复制。比如「360

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super