构建高效的数据存储系统:Python dbm 模块的应用与实践

2024-06-10 19:04

本文主要是介绍构建高效的数据存储系统:Python dbm 模块的应用与实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

🍀 前言

博客地址:

  • CSDN:https://blog.csdn.net/powerbiubiu

👋 简介

dbm(Database Manager)是Python中的一个模块,用于创建和管理简单的键值对数据库。它提供了一种简单而有效的方式来存储和检索数据,特别适用于小型应用程序或需要快速访问数据的场景。

📖 正文

1 dbm的介绍

1.1 方法介绍
  • open(filename[, flag[, mode]]):打开或创建一个数据库文件;
    • filename:文件名
    • flag:参数可以是'r'(打开一个存在的文件,默认值)、'w'(打开文件对其读/写,如果文件不存在,则不会创建它)、'c'(打开文件对其进行读/写,如果不存在则创建该文件)、'n'(总是创建一个新的空白文件用于读/写);
    • mode:参数的 Unix 模式,八进制默认设置为 0o666,仅在创建新数据库时使用;
  • keys():返回数据库中所有的键;
  • values():返回数据库中所有的值;
  • get(key, default=None):根据键获取对应的值,若不存在则返回None;
  • clear():清空数据库;
  • close():关闭数据库。
1.2 特点介绍
  • 简单易用:dbm 模块提供了一种简单而直观的方式来创建和管理键值对数据库,适用于小型应用程序或需要快速访问数据的场景。
  • 多种支持:dbm 模块支持多种不同类型的数据库,如 GNU dbm、Berkeley DB、OpenBSD db、QDBM 等,这使得可以方便地切换和使用不同的数据库。
  • 键值存储:通过 dbm 模块,可以使用字符串作为键和值来存储数据,类似于字典的方式。这使得可以快速检索和访问对应的值。
  • 灵活的操作方法:dbm 模块提供了一系列灵活且便捷的操作方法,如打开/关闭数据库、获取所有键或值、根据键获取对应的值、更新数据库等,方便进行数据存储和检索操作。
  • 跨平台支持:dbm 模块在不同的操作系统上都有良好的支持,因此可以在多个平台上使用。

2 dbm的使用

2.1 数据写入
import dbmdata = {'sno': '201215001','name': '张三','age': 20,'hobby': ['足球', '篮球'],'学校': 'xx大学'
}f = dbm.open('student', 'c')
for k, v in data.items():f[k] = str(v)f.close()

数据写入成功后,会在同级目录中生成三个文件
image.png

2.2 数据读取

数据读取的时候,如果有中文,则需要使用decode()对字符串进行转码,即可显示正常的中文信息。

import dbmf = dbm.open('student')
for k in f:value = f[k].decode()print(f'{k.decode()}==>{value}==>{type(value)}')# sno==>201215001==><class 'str'>
# name==>张三==><class 'str'>
# age==>20==><class 'str'>
# hobby==>['足球', '篮球']==><class 'str'>
# 学校==>xx大学==><class 'str'>

通过type()可以发现,读取出的数据,类型都是字符串,而在数据存储的时候,不仅有字符串,还有数字和列表,我们可以通过对应的方法,如果listintjson等方式,可以将获取到的字符串进行类型转换。

2.3 键值获取
f = dbm.open('student')
print(f.keys())
print(f.values())
print([i.decode() for i in f.values()])# [b'sno', b'name', b'age', b'hobby', b'\xe5\xad\xa6\xe6\xa0\xa1']
# ValuesView(<dbm.dumb._Database object at 0x000001F6A0FFFB80>)
# ['201215001', '张三', '20', "['足球', '篮球']", 'xx大学']

key()返回的列表中,元素都是byte类型,而values()返回的内存地址,通过列表推导式可以获得值的内容。

3 工具类封装

import dbm
import re
from typing import Union, Anyclass DBMUtils:def __init__(self, filename: str) -> None:self.filename = filenamedef __dbm_write(self, filename: str, data: dict) -> None:"""数据持久化:param filename: 文件名:param data: 数据:return:"""with dbm.open(filename, 'c') as f:for k, v in data.items():f[k] = str(v)def __type_conversion(self, content: str) -> Any:"""对读取的字符串数据进行正则匹配,将字符串类型的字典,列表,数字,布尔转换成对应类型:param content: 字符串内容:return:"""pattern = r'\{.*\}$|\[.*\]$|\(.*\)$|^[-+]?[0-9]*\.?[0-9]+$|true|false'if re.match(pattern, content, re.I):return eval(content)else:return contentdef write(self, data: Union[dict, list]) -> None:"""写入json数据:param data: 数据:return:"""if isinstance(data, dict):self.__dbm_write(self.filename, data)elif isinstance(data, list):for item in data:filename = f'{self.filename}{data.index(item)}'self.__dbm_write(filename, item)else:raise TypeError('data must be dict or list')def read(self, key: str = None, *, flag: bool = False) -> Any:"""通过键获取值:param key: 键,默认值为None,则获取所有数据,否则通过键获取值:param flag: 是否将字符串类型的字典,列表,数字,布尔转换成对应类型,默认False:return:"""if key:with dbm.open(self.filename) as f:try:if flag:return self.__type_conversion(f[key].decode())else:return f[key].decode()except KeyError:return Noneelse:with dbm.open(self.filename) as f:if flag:return {k.decode(): self.__type_conversion(v.decode()) for k, v in f.items()}else:return {k.decode(): v.decode() for k, v in f.items()}
2.1 写入数据

写入数据的方法write(data)支持传入字典,或者列表套字典。

if __name__ == '__main__':db = DBMUtils('person')data = {'no': '10001','name': '张三','student': True,'age': 20,'hobby': ['足球', '篮球'],'score': {'chinese': 80,'math': 90,'english': 85}}db.write(data)
2.2 读取数据

读取数据方法read([key[, flag]])支持读取全部内容,或根据键获取对应的值,同时flag参数为True时,会将对应的字符串类型的字典,列表,数字,布尔类型转换成对应的类型。

if __name__ == '__main__':db = DBMUtils('person')res = db.read('hobby', flag=True)print(res)print(type(res))# ['足球', '篮球']
# <class 'list'>

✏ 总结

虽然 dbm 模块提供了简单、轻量级的数据库管理功能,但在并发性能和复杂查询支持方面可能不如其他高级数据库,因此对于大型应用程序或需要复杂查询和事务支持的场景,可能需要考虑其他更强大的数据库解决方案。

💖 欢迎关注我的公众号

在这里插入图片描述

这篇关于构建高效的数据存储系统:Python dbm 模块的应用与实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1049004

相关文章

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很