本文主要是介绍Python进阶之-mmap详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
✨前言:
Python中的mmap模块允许你创建一个内存映射的文件,这意味着文件数据直接映射到虚拟内存。这样做的好处包括:提高文件访问速度、可通过修改内存来修改文件、可以像操作普通内存一样操作这块特殊的内存区域。
✨mmap基础
要使用mmap,需要先导入该模块
import mmap
你需要一个文件描述符(可以是一个打开的文件对象的.fileno()方法返回的,也可以是一个现有的文件描述符),使用这个文件描述符,可以创建一个mmap对象:
import mmap# 打开文件
with open("example.dat", "r+b") as f:# 创建内存映射mm = mmap.mmap(f.fileno(), 0)# 使用mmap对象...# 完成后,解除映射mm.close()
✨mmap常用方法
1.mmap.read(byte):读取指定数量的字节。
2.mmap.readline():读取一行。
3.mmap[:N]或mmap.read(N):读取前N个字节。
4.mmap.seek(offset):移动当前位置至指定offset。
5.mmap.tell():获取当前位置。
6.mmap.write(bytes):写入字节字符串。
7.mmap.flush():将更改写回文件中。在某些情况下是必须的,例如,当对文件内容进行更改而想将更改保存至磁盘时。
8.mmap.close():关闭内存映射文件。
✨举例说明
🌟例1:基础读写
考虑一个文件example.dat,先写入一些数据然后通过内存映射来修改它。
import mmapwith open("example.dat", "r+b") as f:mm = mmap.mmap(f.fileno(), 0)print("Original:", mm[:].decode()) # 读取内容replacement = b"World!"original_size = len(mm[:])replacement_size = len(replacement) + 6 # +6因为替换起始于第6位if replacement_size <= original_size:# 此处简单处理,用空格补齐,只为示例replacement = replacement.ljust(original_size - 6, b' ')mm[6:] = replacement # 修改内容mm.seek(0) # 移动至文件开头print("Modified:", mm[:].decode()) # 再次读取内容else:print("Replacement string is too long.")mm.close()
🌟例2:搜索和替换
如果想在内存映射文件中搜索特定的文本,并且替换它:
import mmap# 首先,创建/重新创建文件并写入 "Hello World!"
with open("example.dat", "wb") as f:f.write(b"Hello World!")with open("example.dat", "r+b") as f:mm = mmap.mmap(f.fileno(), 0)start = mm.find(b"World")if start != -1:mm[start:start+5] = b"debug"mm.seek(0)print("After replace:", mm[:].decode()) # 正确的输出应该是 "Hello debug!"mm.close()
🌟例3 性能对比
创建测试文件
with open("large_file.txt", "wb") as f:f.write(b"0" * 1024 * 1024 * 100) # 创建一个100MB的文件
普通文件读取测试
import time
start_time = time.time()
with open("large_file.txt", "rb") as f:content = f.read(10) # 同样只读取前10个字节作为示例
elapsed_time = round(time.time() - start_time, 6)print("普通读取耗时:", elapsed_time) # 普通读取耗时: 0.011448
mmap 读取测试
start_time = time.time()
with open("large_file.txt", "r+b") as f:mm = mmap.mmap(f.fileno(), 0)content = mm[:10] # 假设我们只读取前10个字节作为示例mm.close()
elapsed_time = round(time.time() - start_time, 6)print("mmap读取耗时:", elapsed_time) # mmap读取耗时: 0.008091
⚠️ 注意: 由于mmap修改的是内存中的数据,文件内容也会同步更改,实现对文件的快速读写操作。一定要注意的是,在使用内存映射文件时,尤其是在修改文件内容时,应保证替换内容的字节长度不变,否则可能会导致数据错乱或者程序崩溃。
这篇关于Python进阶之-mmap详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!