构建高效的数据存储系统:Python dbm 模块的应用与实践

2024-06-10 19:04

本文主要是介绍构建高效的数据存储系统:Python dbm 模块的应用与实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

🍀 前言

博客地址:

  • CSDN:https://blog.csdn.net/powerbiubiu

👋 简介

dbm(Database Manager)是Python中的一个模块,用于创建和管理简单的键值对数据库。它提供了一种简单而有效的方式来存储和检索数据,特别适用于小型应用程序或需要快速访问数据的场景。

📖 正文

1 dbm的介绍

1.1 方法介绍
  • open(filename[, flag[, mode]]):打开或创建一个数据库文件;
    • filename:文件名
    • flag:参数可以是'r'(打开一个存在的文件,默认值)、'w'(打开文件对其读/写,如果文件不存在,则不会创建它)、'c'(打开文件对其进行读/写,如果不存在则创建该文件)、'n'(总是创建一个新的空白文件用于读/写);
    • mode:参数的 Unix 模式,八进制默认设置为 0o666,仅在创建新数据库时使用;
  • keys():返回数据库中所有的键;
  • values():返回数据库中所有的值;
  • get(key, default=None):根据键获取对应的值,若不存在则返回None;
  • clear():清空数据库;
  • close():关闭数据库。
1.2 特点介绍
  • 简单易用:dbm 模块提供了一种简单而直观的方式来创建和管理键值对数据库,适用于小型应用程序或需要快速访问数据的场景。
  • 多种支持:dbm 模块支持多种不同类型的数据库,如 GNU dbm、Berkeley DB、OpenBSD db、QDBM 等,这使得可以方便地切换和使用不同的数据库。
  • 键值存储:通过 dbm 模块,可以使用字符串作为键和值来存储数据,类似于字典的方式。这使得可以快速检索和访问对应的值。
  • 灵活的操作方法:dbm 模块提供了一系列灵活且便捷的操作方法,如打开/关闭数据库、获取所有键或值、根据键获取对应的值、更新数据库等,方便进行数据存储和检索操作。
  • 跨平台支持:dbm 模块在不同的操作系统上都有良好的支持,因此可以在多个平台上使用。

2 dbm的使用

2.1 数据写入
import dbmdata = {'sno': '201215001','name': '张三','age': 20,'hobby': ['足球', '篮球'],'学校': 'xx大学'
}f = dbm.open('student', 'c')
for k, v in data.items():f[k] = str(v)f.close()

数据写入成功后,会在同级目录中生成三个文件
image.png

2.2 数据读取

数据读取的时候,如果有中文,则需要使用decode()对字符串进行转码,即可显示正常的中文信息。

import dbmf = dbm.open('student')
for k in f:value = f[k].decode()print(f'{k.decode()}==>{value}==>{type(value)}')# sno==>201215001==><class 'str'>
# name==>张三==><class 'str'>
# age==>20==><class 'str'>
# hobby==>['足球', '篮球']==><class 'str'>
# 学校==>xx大学==><class 'str'>

通过type()可以发现,读取出的数据,类型都是字符串,而在数据存储的时候,不仅有字符串,还有数字和列表,我们可以通过对应的方法,如果listintjson等方式,可以将获取到的字符串进行类型转换。

2.3 键值获取
f = dbm.open('student')
print(f.keys())
print(f.values())
print([i.decode() for i in f.values()])# [b'sno', b'name', b'age', b'hobby', b'\xe5\xad\xa6\xe6\xa0\xa1']
# ValuesView(<dbm.dumb._Database object at 0x000001F6A0FFFB80>)
# ['201215001', '张三', '20', "['足球', '篮球']", 'xx大学']

key()返回的列表中,元素都是byte类型,而values()返回的内存地址,通过列表推导式可以获得值的内容。

3 工具类封装

import dbm
import re
from typing import Union, Anyclass DBMUtils:def __init__(self, filename: str) -> None:self.filename = filenamedef __dbm_write(self, filename: str, data: dict) -> None:"""数据持久化:param filename: 文件名:param data: 数据:return:"""with dbm.open(filename, 'c') as f:for k, v in data.items():f[k] = str(v)def __type_conversion(self, content: str) -> Any:"""对读取的字符串数据进行正则匹配,将字符串类型的字典,列表,数字,布尔转换成对应类型:param content: 字符串内容:return:"""pattern = r'\{.*\}$|\[.*\]$|\(.*\)$|^[-+]?[0-9]*\.?[0-9]+$|true|false'if re.match(pattern, content, re.I):return eval(content)else:return contentdef write(self, data: Union[dict, list]) -> None:"""写入json数据:param data: 数据:return:"""if isinstance(data, dict):self.__dbm_write(self.filename, data)elif isinstance(data, list):for item in data:filename = f'{self.filename}{data.index(item)}'self.__dbm_write(filename, item)else:raise TypeError('data must be dict or list')def read(self, key: str = None, *, flag: bool = False) -> Any:"""通过键获取值:param key: 键,默认值为None,则获取所有数据,否则通过键获取值:param flag: 是否将字符串类型的字典,列表,数字,布尔转换成对应类型,默认False:return:"""if key:with dbm.open(self.filename) as f:try:if flag:return self.__type_conversion(f[key].decode())else:return f[key].decode()except KeyError:return Noneelse:with dbm.open(self.filename) as f:if flag:return {k.decode(): self.__type_conversion(v.decode()) for k, v in f.items()}else:return {k.decode(): v.decode() for k, v in f.items()}
2.1 写入数据

写入数据的方法write(data)支持传入字典,或者列表套字典。

if __name__ == '__main__':db = DBMUtils('person')data = {'no': '10001','name': '张三','student': True,'age': 20,'hobby': ['足球', '篮球'],'score': {'chinese': 80,'math': 90,'english': 85}}db.write(data)
2.2 读取数据

读取数据方法read([key[, flag]])支持读取全部内容,或根据键获取对应的值,同时flag参数为True时,会将对应的字符串类型的字典,列表,数字,布尔类型转换成对应的类型。

if __name__ == '__main__':db = DBMUtils('person')res = db.read('hobby', flag=True)print(res)print(type(res))# ['足球', '篮球']
# <class 'list'>

✏ 总结

虽然 dbm 模块提供了简单、轻量级的数据库管理功能,但在并发性能和复杂查询支持方面可能不如其他高级数据库,因此对于大型应用程序或需要复杂查询和事务支持的场景,可能需要考虑其他更强大的数据库解决方案。

💖 欢迎关注我的公众号

在这里插入图片描述

这篇关于构建高效的数据存储系统:Python dbm 模块的应用与实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1049004

相关文章

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

python获取网页表格的多种方法汇总

《python获取网页表格的多种方法汇总》我们在网页上看到很多的表格,如果要获取里面的数据或者转化成其他格式,就需要将表格获取下来并进行整理,在Python中,获取网页表格的方法有多种,下面就跟随小编... 目录1. 使用Pandas的read_html2. 使用BeautifulSoup和pandas3.

Python装饰器之类装饰器详解

《Python装饰器之类装饰器详解》本文将详细介绍Python中类装饰器的概念、使用方法以及应用场景,并通过一个综合详细的例子展示如何使用类装饰器,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. 引言2. 装饰器的基本概念2.1. 函数装饰器复习2.2 类装饰器的定义和使用3. 类装饰

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

C语言中位操作的实际应用举例

《C语言中位操作的实际应用举例》:本文主要介绍C语言中位操作的实际应用,总结了位操作的使用场景,并指出了需要注意的问题,如可读性、平台依赖性和溢出风险,文中通过代码介绍的非常详细,需要的朋友可以参... 目录1. 嵌入式系统与硬件寄存器操作2. 网络协议解析3. 图像处理与颜色编码4. 高效处理布尔标志集合

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

利用Python调试串口的示例代码

《利用Python调试串口的示例代码》在嵌入式开发、物联网设备调试过程中,串口通信是最基础的调试手段本文将带你用Python+ttkbootstrap打造一款高颜值、多功能的串口调试助手,需要的可以了... 目录概述:为什么需要专业的串口调试工具项目架构设计1.1 技术栈选型1.2 关键类说明1.3 线程模

Python ZIP文件操作技巧详解

《PythonZIP文件操作技巧详解》在数据处理和系统开发中,ZIP文件操作是开发者必须掌握的核心技能,Python标准库提供的zipfile模块以简洁的API和跨平台特性,成为处理ZIP文件的首选... 目录一、ZIP文件操作基础三板斧1.1 创建压缩包1.2 解压操作1.3 文件遍历与信息获取二、进阶技