将FER数据集使用Pickle处理-Python代码

2024-03-24 01:08

本文主要是介绍将FER数据集使用Pickle处理-Python代码,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

之前写过一篇文章,是将FER2013数据集还原成灰度图像的Python代码,便于我们查看。

现在我想把它转换成pickle进行存储,这样便于读取和传输。

直接上代码就好了:

    def process_to_pickle(self):"""将csv文件加工成pickle文件,方便存储和读取:return: None"""# 创建文件夹if not os.path.exists(self.pickle_data_path): os.makedirs(self.pickle_data_path)# 读取csv数据with open(self.data_source) as f:train_x_data = []train_y_data = []test_x_data = []test_y_data = []validate_x_data = []validate_y_data = []# 打开文件夹data_csv = csv.reader(f)for (label, pixcels, usage) in data_csv:if usage == 'Training':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)train_x_data.append(I.tolist())train_y_data.append(label)elif usage == 'PrivateTest':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)test_x_data.append(I.tolist())test_y_data.append(label)elif usage == 'PublicTest':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)validate_x_data.append(I.tolist())validate_y_data.append(label)# 定义三个pickle文件train_pickle_file = open(os.path.join(self.pickle_data_path, 'train.txt'), 'wb')test_pickle_file = open(os.path.join(self.pickle_data_path, 'test.txt'), 'wb')validate_pickle_file = open(os.path.join(self.pickle_data_path, 'validate.txt'), 'wb')# 写入Picklepickle.dump(train_x_data, train_pickle_file)pickle.dump(train_y_data, train_pickle_file)pickle.dump(test_x_data, test_pickle_file)pickle.dump(test_y_data, test_pickle_file)pickle.dump(validate_x_data, validate_pickle_file)pickle.dump(validate_y_data, validate_pickle_file)# 关闭文件train_pickle_file.close()test_pickle_file.close()validate_pickle_file.close()logging.info(msg='Save data finish!')

这段代码可以直接放到我的之前的文章:点这里 。里面写了一个类,直接放到里面就能够使用。

如果代码里有错误,欢迎大家指正!!

 

这篇关于将FER数据集使用Pickle处理-Python代码的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/840076

相关文章

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

Visual Studio 2022 编译C++20代码的图文步骤

《VisualStudio2022编译C++20代码的图文步骤》在VisualStudio中启用C++20import功能,需设置语言标准为ISOC++20,开启扫描源查找模块依赖及实验性标... 默认创建Visual Studio桌面控制台项目代码包含C++20的import方法。右键项目的属性:

python常用的正则表达式及作用

《python常用的正则表达式及作用》正则表达式是处理字符串的强大工具,Python通过re模块提供正则表达式支持,本文给大家介绍python常用的正则表达式及作用详解,感兴趣的朋友跟随小编一起看看吧... 目录python常用正则表达式及作用基本匹配模式常用正则表达式示例常用量词边界匹配分组和捕获常用re