Python 的 shelve 模块:持久化存储数据的利器

2024-03-18 15:28

本文主要是介绍Python 的 shelve 模块:持久化存储数据的利器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Python 的 shelve 模块是一个简单而强大的工具,用于持久化地存储 Python 对象到磁盘上的文件中,并能够通过键值对的方式进行访问。本文将详细介绍 shelve 模块的各种功能和用法,并提供丰富的示例代码,帮助大家更好地理解和运用这个工具。

shelve 模块概述

shelve 模块提供了一个简单的存储持久对象的方式,类似于字典,可以通过键访问值。它使用了 pickle 模块来序列化对象,因此可以存储几乎所有的 Python 对象。

shelve 模块的基本用法

1. 打开和关闭 shelve 文件

使用 shelve.open() 函数可以打开一个 shelve 文件,使用 close() 方法可以关闭该文件。

示例:
import shelve# 打开 shelve 文件
with shelve.open('mydata') as db:db['key1'] = 'value1'db['key2'] = [1, 2, 3]# 关闭 shelve 文件
db.close()

2. 使用 shelve 文件

通过简单地将 shelve 对象视为字典,可以对其进行类似于字典的操作,如读取、写入、删除等。

示例:
import shelve# 打开 shelve 文件
with shelve.open('mydata') as db:# 读取值print(db['key1'])# 写入值db['key3'] = {'a': 1, 'b': 2}# 删除键值对del db['key2']# 遍历键值对for key, value in db.items():print(key, value)

shelve 文件的特性

1. 键的唯一性

与字典不同,shelve 中的键是唯一的。如果尝试使用相同的键插入新值,则会覆盖之前的值。

import shelve# 创建一个 shelve 文件并插入相同的键
with shelve.open('mydata') as db:db['key'] = 'value1'db['key'] = 'value2'# 打开同一个 shelve 文件,查看键对应的值
with shelve.open('mydata') as db:print(db['key'])  # 输出:value2

2. 自动持久化

一旦对 shelve 文件进行了修改,其内容会自动持久化到磁盘上,无需手动调用保存操作。

import shelve# 创建一个 shelve 文件并插入键值对
with shelve.open('mydata') as db:db['key1'] = 'value1'# 关闭 shelve 文件后重新打开,并尝试读取之前插入的键值对
with shelve.open('mydata') as db:print(db['key1'])  # 输出:value1

处理 shelve 文件中的异常

在操作 shelve 文件时,可能会遇到一些异常情况,如文件不存在、权限不足等。可以通过捕获相应的异常来处理这些情况。

示例:
import shelvetry:with shelve.open('nonexistent_file') as db:print(db['key'])
except FileNotFoundError:print("文件不存在")

多个 shelve 文件的管理

可以同时打开多个 shelve 文件,并分别对其进行操作,从而更灵活地管理数据。

import shelvewith shelve.open('data1') as db1, shelve.open('data2') as db2:db1['key'] = 'value'db2['key'] = 'value'

shelve 模块的高级用法

除了基本的键值对操作外,shelve 模块还提供了一些高级功能,如同步访问、批量操作等,以更好地满足复杂的应用场景。

1. 同步访问

在多线程或多进程环境中,如果多个线程或进程同时访问同一个 shelve 文件,可能会导致数据不一致的问题。为了解决这个问题,可以使用 shelve.open() 函数的 writeback 参数来启用同步访问。

import shelve# 启用同步访问
with shelve.open('data', writeback=True) as db:# 在多个线程或进程中修改值db['key'] = 'value'

2. 批量操作

对于大量数据的操作,可以使用 shelve 对象的 update() 方法来进行批量操作,以提高效率。

import shelvewith shelve.open('data') as db:data = {'key1': 'value1', 'key2': 'value2', 'key3': 'value3'}db.update(data)

总结

shelve 模块是 Python 中一个强大而方便的工具,用于持久化地存储 Python 对象到磁盘上的文件中,并能够通过键值对的方式进行访问。通过深入了解和灵活运用 shelve 模块的各种功能和方法,可以更好地管理和存储数据,提高程序的效率和稳定性。在实际应用中,建议根据具体需求,选择合适的 shelve 函数,并结合其他标准库模块和第三方库,以满足实际的数据存储和管理需求。

如果你觉得文章还不错,请大家 点赞、分享、留言 ,因为这将是我持续输出更多优质文章的最强动力!

这篇关于Python 的 shelve 模块:持久化存储数据的利器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/822780

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi