面试刷题12:zero copy是怎么回事?

2024-04-02 17:58

本文主要是介绍面试刷题12:zero copy是怎么回事?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

image.png





文件copy是java的io部分不可忽视的内容。

我是李福春,我在准备面试,今天的问题是:

zero-copy是怎么回事?

操作系统的空间划分为内核态空间, 用户态空间;

内核态空间相对操作系统具备更高的权限和优先级;

用户态空间即普通用户所处空间。

zero-copy指的使用类似java.nio的transforTo方法进行文件copy,文件的copy直接从磁盘到内核态空间,不经过用户态空间,再写到磁盘,减少了io的消耗,避免了不必要的copy 和上下文切换,所以比较高效。

接下来对面试官可能扩展的问题进行一些拓展:

java的文件copy方式

java.io流式copy

package org.example.mianshi.filecopy;import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.file.Files;/*** 说明:传统的文件copy* @author carter* 创建时间: 2020年03月26日 9:32 上午**/public class JioFileCopyApp {public static void main(String[] args) {final File d = new File("/data/appenvs/denv.properties");final File s = new File("/data/appenvs/env.properties");System.out.println("source file content :" + s.exists());System.out.println("target file content :" + d.exists());System.out.println("source content:");try {Files.lines(s.toPath()).forEach(System.out::println);} catch (IOException e) {e.printStackTrace();}System.out.println("do file copy !");copy(s, d);System.out.println("target file content :" + d.exists());System.out.println("target content:");try {Files.lines(d.toPath()).forEach(System.out::println);} catch (IOException e) {e.printStackTrace();}}private static void copy(File s, File d) {try (final FileInputStream fileInputStream = new FileInputStream(s);final FileOutputStream fileOutputStream = new FileOutputStream(d)) {byte[] buffer = new byte[1024];int length;while ((length = fileInputStream.read(buffer)) > 0) {fileOutputStream.write(buffer, 0, length);}} catch (IOException e) {e.printStackTrace();}}}


代码可以运行;copy流程如下图:它不是zero-copy的,需要切换用户态空间和内核态空间,路径比较长,io消耗和上线文切换的消耗比较明显,这是比较低效的copy.



image.png





java.nioChannel式copy

package org.example.mianshi.filecopy;import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.channels.FileChannel;
import java.nio.file.Files;/*** 说明:传统的文件copy* @author carter* 创建时间: 2020年03月26日 9:32 上午**/public class JnioFileCopyApp {public static void main(String[] args) {final File d = new File("/data/appenvs/ndenv.properties");final File s = new File("/data/appenvs/env.properties");System.out.println(s.getAbsolutePath() + "source file content :" + s.exists());System.out.println(d.getAbsolutePath() +"target file content :" + d.exists());System.out.println("source content:");try {Files.lines(s.toPath()).forEach(System.out::println);} catch (IOException e) {e.printStackTrace();}System.out.println("do file copy !");copy(s, d);System.out.println(d.getAbsolutePath() +"target file content :" + d.exists());System.out.println("target content:");try {Files.lines(d.toPath()).forEach(System.out::println);} catch (IOException e) {e.printStackTrace();}}private static void copy(File s, File d) {try (final FileChannel sourceFileChannel = new FileInputStream(s).getChannel();final FileChannel targetFileChannel = new FileOutputStream(d).getChannel()) {for (long count= sourceFileChannel.size();count>0;){final long transferTo = sourceFileChannel.transferTo(sourceFileChannel.position(), count, targetFileChannel);count-=transferTo;}} catch (IOException e) {e.printStackTrace();}}}

copy过程如下图:明显,不用经过用户态空间,是zero-copy,减少了io的消耗以及上下文切换,比较高效。


image.png





Files工具类copy

package org.example.mianshi.filecopy;import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.file.CopyOption;
import java.nio.file.Files;
import java.nio.file.StandardCopyOption;/*** 说明:Files的文件copy* @author carter* 创建时间: 2020年03月26日 9:32 上午**/public class FilesFileCopyApp {public static void main(String[] args) {final File d = new File("/data/appenvs/fenv.properties");final File s = new File("/data/appenvs/env.properties");System.out.println("source file content :" + s.exists());System.out.println("target file content :" + d.exists());System.out.println("source content:");try {Files.lines(s.toPath()).forEach(System.out::println);} catch (IOException e) {e.printStackTrace();}System.out.println("do file copy !");copy(s, d);System.out.println("target file content :" + d.exists());System.out.println("target content:");try {Files.lines(d.toPath()).forEach(System.out::println);} catch (IOException e) {e.printStackTrace();}}private static void copy(File s, File d) {try {Files.copy(s.toPath(),d.toPath(), StandardCopyOption.COPY_ATTRIBUTES);} catch (IOException e) {e.printStackTrace();}}}


面试官一般喜欢刨根问底,那么来吧!贴一下源码:
 public static Path copy(Path source, Path target, CopyOption... options)throws IOException{FileSystemProvider provider = provider(source);if (provider(target) == provider) {// same providerprovider.copy(source, target, options);} else {// different providersCopyMoveHelper.copyToForeignTarget(source, target, options);}return target;}



底层通过SPI,即ServiceLoader的方式加载不同文件系统的本地处理代码。

分类如下:



image.png





我们使用最多的UnixFsProvider,实际上是 直接从 用户态空间copy到用户态空间,使用了本地方法内联加持优化,但是它不是zero-copy, 性能也不会太差。

如何提高io的效率


1, 使用缓存,减少io的操作次数;

2,使用zero-copy,即类似 java.nio的 transferTo方法进行copy;

3, 减少传输过程中不必要的转换,比如编解码,最好直接二进制传输;

buffer



buffer的类层级图如下:

image.png




除了bool其他7个原生类型都有对应的Buffer;

面试官如果问细节,先说4个属性, capacity, limit ,position, mark

再描述byteBuffer的读写流程。


然后是DirectBuffer,这个是直接操作堆外内存,比较高效。但是用好比较困难,除非是流媒体的行业,不会问的这么细,直接翻源码好好准备,问一般也是技术专家来问你了。

小结


本篇回答了什么是zero-copy,然后介绍了java体系实现文件copy的3中方式,(扩展的第三方库不算在内);

然后简要介绍了如何提高io效率的三种方法,以及提高内存利用率的Buffer做了系统级的介绍。

不啰嗦,可以快速通过下图条理化本篇内容,希望对你有所帮助。

image.png

原创不易,转载请注明出处,让我们互通有无,共同进步,欢迎多沟通交流

这篇关于面试刷题12:zero copy是怎么回事?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/870669

相关文章

字节面试 | 如何测试RocketMQ、RocketMQ?

字节面试:RocketMQ是怎么测试的呢? 答: 首先保证消息的消费正确、设计逆向用例,在验证消息内容为空等情况时的消费正确性; 推送大批量MQ,通过Admin控制台查看MQ消费的情况,是否出现消费假死、TPS是否正常等等问题。(上述都是临场发挥,但是RocketMQ真正的测试点,还真的需要探讨) 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说,就是一个分

uva 10061 How many zero's and how many digits ?(不同进制阶乘末尾几个0)+poj 1401

题意是求在base进制下的 n!的结果有几位数,末尾有几个0。 想起刚开始的时候做的一道10进制下的n阶乘末尾有几个零,以及之前有做过的一道n阶乘的位数。 当时都是在10进制下的。 10进制下的做法是: 1. n阶位数:直接 lg(n!)就是得数的位数。 2. n阶末尾0的个数:由于2 * 5 将会在得数中以0的形式存在,所以计算2或者计算5,由于因子中出现5必然出现2,所以直接一

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

java面试常见问题之Hibernate总结

1  Hibernate的检索方式 Ø  导航对象图检索(根据已经加载的对象,导航到其他对象。) Ø  OID检索(按照对象的OID来检索对象。) Ø  HQL检索(使用面向对象的HQL查询语言。) Ø  QBC检索(使用QBC(Qurey By Criteria)API来检索对象。 QBC/QBE离线/在线) Ø  本地SQL检索(使用本地数据库的SQL查询语句。) 包括Hibern

SAM2POINT:以zero-shot且快速的方式将任何 3D 视频分割为视频

摘要 我们介绍 SAM2POINT,这是一种采用 Segment Anything Model 2 (SAM 2) 进行零样本和快速 3D 分割的初步探索。 SAM2POINT 将任何 3D 数据解释为一系列多向视频,并利用 SAM 2 进行 3D 空间分割,无需进一步训练或 2D-3D 投影。 我们的框架支持各种提示类型,包括 3D 点、框和掩模,并且可以泛化到不同的场景,例如 3D 对象、室

【每日刷题】Day113

【每日刷题】Day113 🥕个人主页:开敲🍉 🔥所属专栏:每日刷题🍍 🌼文章目录🌼 1. 91. 解码方法 - 力扣(LeetCode) 2. LCR 098. 不同路径 - 力扣(LeetCode) 3. 63. 不同路径 II - 力扣(LeetCode) 1. 91. 解码方法 - 力扣(LeetCode) //思路:动态规划。 cl

贝壳面试:什么是回表?什么是索引下推?

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50+)中,最近有小伙伴拿到了一线互联网企业如得物、阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格,遇到很多很重要的面试题: 1.谈谈你对MySQL 索引下推 的认识? 2.在MySQL中,索引下推 是如何实现的?请简述其工作原理。 3、说说什么是 回表,什么是 索引下推 ? 最近有小伙伴在面试 贝壳、soul,又遇到了相关的

毕业前第二次面试的感慨

距面试已经过去了有几天了,我现在想起来都有说多的恨感慨。 我一直都是想找刚刚起步的企业,因为这能让我学到更多的东西,然而正好有一家企业是刚起步的,而且他还有自己的产品专利,可以说这是一家,即是创业又是刚起步的公司,这家公司回复了我投给他的简历,这家企业想进一步了解我的情况,因为简历上我符合这家企业的基本要求,所以要进一步了解。 虽然面试的过程中,他给我的面试题,我做得并不是很理想,

hot100刷题第1-9题,三个专题哈希,双指针,滑动窗口

求满足条件的子数组,一般是前缀和、滑动窗口,经常结合哈希表; 区间操作元素,一般是前缀和、差分数组 数组有序,更大概率会用到二分搜索 目前已经掌握一些基本套路,重零刷起leetcode hot 100, 套路题按套路来,非套路题适当参考gpt解法。 一、梦开始的地方, 两数之和 class Solution:#注意要返回的是数组下标def twoSum(self, nums: Lis

腾讯社招面试经历

前提:本人2011年毕业于一个普通本科,工作不到2年。   15号晚上7点多,正在炒菜做饭,腾讯忽然打电话来问我对他们的Linux C++的职位是否感兴趣,我表达了我感兴趣之后,就开始了一段简短的电话面试,电话面试主要内容:C++和TCP socket通信的一些基础知识。之后就问我一道算法题:10亿个整数,随机生成,可重复,求最大的前1万个。当时我一下子就蒙了,没反应过来,何况我还正在烧