pickle数据序列化和反序列化

2024-03-23 14:28
文章标签 数据 序列化 pickle

本文主要是介绍pickle数据序列化和反序列化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

pickle

pickle 是 Python 中用于序列化和反序列化对象的标准模块。序列化是指将对象转换为字节流的过程，反序列化是指将字节流转换回对象的过程。pickle 提供了一种在 Python 对象和字节流之间相互转换的方式，可以用于将对象保存到文件或通过网络传输，并在需要时恢复原始对象。以下是 pickle 模块中常用的函数和方法：

pickle.dump(obj, file)：将对象序列化并保存到文件中。

import pickle# 假设我们有一个字典对象
data = {'a': [1, 2.0, 3, 4 + 6j],'b': ('string', u'Unicode string'),'c': None}# 打开一个文件用于写入
with open('data.pickle', 'wb') as f:# 将字典对象序列化并保存到文件pickle.dump(data, f)

pickle.dumps(obj)：将对象序列化并返回字节流。

import pickle# 假设我们有一个字典对象
data = {'a': [1, 2.0, 3, 4 + 6j],'b': ('string', u'Unicode string'),'c': None}strr = pickle.dumps(data)
print(strr)

pickle.load(file)：从文件中读取字节流并反序列化为对象。

import pickle# 读取
with open('data.pickle', 'rb') as f:# 将字典对象序列化并保存到文件data = pickle.load(f)print(data)

pickle.loads(bytes_obj)：将字节流反序列化为对象。

import pickle# 假设我们有一个字典对象
data = {'a': [1, 2.0, 3, 4 + 6j],'b': ('string', u'Unicode string'),'c': None}print(data)strr = pickle.dumps(data)
print(strr)data = pickle.loads(strr)
print(data)

请添加图片描述
使用 pickle 可以序列化大多数 Python 对象，包括基本数据类型（如整数、浮点数、字符串）、列表、字典、函数、类实例等。但是，pickle 序列化的字节流只能在同一个 Python 版本之间兼容，不同版本之间的兼容性较差。

pickle的应用总结

本地序列化的情况，应用较少。一般来说，大多数应用场景在网络中，将数据序列化后通过网络传输到远程结点，远程服务器上的服务接受到数据后进行反序列化，就可以使用了。但是，需要注意的是，远端接受端反序列化时必须有对应的数据类型，否则就会报错，尤其是自定义类，必须远程存在。目前，大多数项目都不是单机，不是单服务，需要通过网络将数据传送到其他结点上，这就需要大量的序列化，反序列化。但是python程序之间还可以使用pickle解决序列化和反序列化。如果是跨平台，跨语言，跨协议，pickle就不适合了，就需要公共协议，如XML/Json /protocol Buffer等。每种协议都有自己的负载，其所使用的场景都不一样，二进制的操作不一定适用于所有的场景。但越是底层的协议，越需要二进制传输。

优点：

简单易用：pickle 提供了简单的接口来序列化和反序列化 Python 对象，使用起来非常方便。

支持大多数 Python 对象：pickle 能够序列化绝大部分的 Python 数据类型，包括基本数据类型、容器类型、函数、类实例等。

保持对象间关系：当序列化一个包含多个对象引用的复杂对象时，pickle 能够保持对象间的关系，反序列化后的对象依然能够保持原有的结构。

可扩展性：pickle 提供了一些高级选项，允许用户自定义序列化和反序列化的行为，以满足特定需求。

缺点：

版本兼容性：pickle 生成的序列化数据依赖于 Python 版本，并且不同版本之间的兼容性较差。这意味着，使用不同版本的 Python 解释器可能会导致反序列化失败。

不适用于跨语言：pickle 生成的序列化数据是 Python 特定的，不适用于跨语言的数据交换。如果需要与其他语言交互，应选择其他序列化格式，如 JSON、XML 等。

安全性：由于 pickle 可能会执行反序列化过程中包含的代码，因此在使用不可信源序列化的数据时存在安全风险。反序列化不信任的数据可能会导致代码执行漏洞。

性能：与一些其他序列化格式相比，pickle 的性能可能不够高效。在需要高性能的场景下，可能需要选择其他序列化方式。

获取lustre文件系统OSS的brw_stats参数

import datetime
import json
import requestsdef writef(response, current_time):formatted_json = json.dumps(response.json(), indent=4)json1 = json.loads(formatted_json)results = json1["data"]["result"]volumes = ['thfs3-OST0000', 'thfs3-OST0001', 'thfs3-OST0002', 'thfs3-OST0003', 'thfs3-OST0004', 'thfs3-OST0005','thfs3-OST0006', 'thfs3-OST0007', 'thfs3-OST0008', 'thfs3-OST0009', 'thfs3-OST000a', 'thfs3-OST000b','thfs3-OST000c', 'thfs3-OST000d', 'thfs3-OST000e', 'thfs3-OST000f', 'thfs3-OST0010', 'thfs3-OST0011','thfs3-OST0012', 'thfs3-OST0013', 'thfs3-OST0014', 'thfs3-OST0015', 'thfs3-OST0016', 'thfs3-OST0017','thfs3-OST0018', 'thfs3-OST0019', 'thfs3-OST001a', 'thfs3-OST001b', 'thfs3-OST001c', 'thfs3-OST001d','thfs3-OST001e', 'thfs3-OST001f', 'thfs3-OST0020', 'thfs3-OST0021', 'thfs3-OST0022', 'thfs3-OST0023','thfs3-OST0024', 'thfs3-OST0025', 'thfs3-OST0026', 'thfs3-OST0027', 'thfs3-OST0028', 'thfs3-OST0029','thfs3-OST002a', 'thfs3-OST002b', 'thfs3-OST002c', 'thfs3-OST002d', 'thfs3-OST002e', 'thfs3-OST002f','thfs3-OST0030', 'thfs3-OST0031', 'thfs3-OST0032', 'thfs3-OST0033', 'thfs3-OST0034', 'thfs3-OST0035','thfs3-OST0036', 'thfs3-OST0037', 'thfs3-OST0038', 'thfs3-OST0039', 'thfs3-OST003a', 'thfs3-OST003b','thfs3-OST003c', 'thfs3-OST003d', 'thfs3-OST003e', 'thfs3-OST003f', 'thfs3-OST0040', 'thfs3-OST0041','thfs3-OST0042', 'thfs3-OST0043', 'thfs3-OST0044', 'thfs3-OST0045', 'thfs3-OST0046', 'thfs3-OST0047','thfs3-OST0048', 'thfs3-OST0049', 'thfs3-OST004a', 'thfs3-OST004b', 'thfs3-OST004c', 'thfs3-OST004d','thfs3-OST004e', 'thfs3-OST004f', 'thfs3-OST0050', 'thfs3-OST0051', 'thfs3-OST0052', 'thfs3-OST0053','thfs3-OST0054', 'thfs3-OST0055', 'thfs3-OST0056', 'thfs3-OST0057', 'thfs3-OST0058', 'thfs3-OST0059','thfs3-OST005a', 'thfs3-OST005b', 'thfs3-OST005c', 'thfs3-OST005d', 'thfs3-OST005e', 'thfs3-OST005f','thfs3-OST0060', 'thfs3-OST0061', 'thfs3-OST0062', 'thfs3-OST0063', 'thfs3-OST0064', 'thfs3-OST0065','thfs3-OST0066', 'thfs3-OST0067', 'thfs3-OST0068', 'thfs3-OST0069', 'thfs3-OST006a', 'thfs3-OST006b','thfs3-OST006c', 'thfs3-OST006d', 'thfs3-OST006e', 'thfs3-OST006f', 'thfs3-OST0070', 'thfs3-OST0071','thfs3-OST0072', 'thfs3-OST0073', 'thfs3-OST0074', 'thfs3-OST0075', 'thfs3-OST0076', 'thfs3-OST0077']for volume in volumes:read_time = "read I/O time (1/1000s):"write_time = "write I/O time (1/1000s):"read_disk_size = "read disk I/O size:"write_disk_size = "write disk I/O size:"read_pages_per_bulk = "read pages per bulk r/w:"write_pages_per_bulk = "write pages per bulk r/w:"read_in_flight = "read disk I/Os in flight:"write_in_flight = "write disk I/Os in flight:"read_discontiguous_pages = "read discontiguous pages:"write_discontiguous_pages = "write discontiguous pages:"for result in results:if result["metric"]["volume"] == volume and result["metric"]["mode"] == "read":if result["metric"]["name"] == "I/O time (1/1000s)" and result["metric"]["metric"] == "ios":read_time = read_time + result["value"][1] + "\t"if result["metric"]["name"] == "disk I/O size" and result["metric"]["metric"] == "ios":read_disk_size = read_disk_size + result["value"][1] + "\t"if result["metric"]["name"] == "pages per bulk r/w" and result["metric"]["metric"] == "rpcs":read_pages_per_bulk = read_pages_per_bulk + result["value"][1] + "\t"if result["metric"]["name"] == "disk I/Os in flight" and result["metric"]["metric"] == "ios":read_in_flight = read_in_flight + result["value"][1] + "\t"if result["metric"]["name"] == "discontiguous pages" and result["metric"]["metric"] == "rpcs":read_discontiguous_pages = read_discontiguous_pages + result["value"][1] + "\t"if result["metric"]["volume"] == volume and result["metric"]["mode"] == "write":if result["metric"]["name"] == "I/O time (1/1000s)" and result["metric"]["metric"] == "ios":write_time = write_time + result["value"][1] + "\t"if result["metric"]["name"] == "disk I/O size" and result["metric"]["metric"] == "ios":write_disk_size = write_disk_size + result["value"][1] + "\t"if result["metric"]["name"] == "pages per bulk r/w" and result["metric"]["metric"] == "rpcs":write_pages_per_bulk = write_pages_per_bulk + result["value"][1] + "\t"if result["metric"]["name"] == "disk I/Os in flight" and result["metric"]["metric"] == "ios":write_in_flight = write_in_flight + result["value"][1] + "\t"if result["metric"]["name"] == "discontiguous pages" and result["metric"]["metric"] == "rpcs":write_discontiguous_pages = write_discontiguous_pages + result["value"][1] + "\t"file = open("/thfs3/home/brw_stats/" + volume, "a")file.write(current_time + "\n")file.write(read_time + "\n" + read_disk_size + "\n" + read_pages_per_bulk + "\n" + read_in_flight + "\n" + read_discontiguous_pages + "\n")file.write(write_time + "\n" + write_disk_size + "\n" + write_pages_per_bulk + "\n" + write_in_flight + "\n" + write_discontiguous_pages + "\n")file.close()if __name__ == '__main__':url = "http://xxxxxxxxxx:9090/api/v1/query"params = {"query": "lustre2_ost_brw_stats","dedup": "true","partial_response": "false",}try:current_time = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")response = requests.get(url, params=params, timeout=15)writef(response, current_time)except requests.Timeout:# 超时处理print("请求超时")except requests.RequestException as e:# 其他请求异常处理print("请求异常:", str(e))

这篇关于pickle数据序列化和反序列化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/838579。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集，专门用于烟火目标检测，是一个非常有价值的资源，尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍： 数据集名称：烟火目标检测数据集 数据集规模： 图片数量：7800张类别：主要包含烟火类目标，可能还包括其他相关类别，如烟火发射装置、背景等。格式：图像文件通常为JPEG或PNG格式；标注文件可能为X
阅读更多...
pandas数据过滤

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据，可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法，结合实例进行讲解，希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav
阅读更多...
SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型，它综合考虑了土壤-水分-大气以及植被间的相互作用；是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程，使其能够精确的模拟土壤中水分的运动，而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2