将FER数据集使用Pickle处理-Python代码

2024-03-24 01:08

本文主要是介绍将FER数据集使用Pickle处理-Python代码,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

之前写过一篇文章,是将FER2013数据集还原成灰度图像的Python代码,便于我们查看。

现在我想把它转换成pickle进行存储,这样便于读取和传输。

直接上代码就好了:

    def process_to_pickle(self):"""将csv文件加工成pickle文件,方便存储和读取:return: None"""# 创建文件夹if not os.path.exists(self.pickle_data_path): os.makedirs(self.pickle_data_path)# 读取csv数据with open(self.data_source) as f:train_x_data = []train_y_data = []test_x_data = []test_y_data = []validate_x_data = []validate_y_data = []# 打开文件夹data_csv = csv.reader(f)for (label, pixcels, usage) in data_csv:if usage == 'Training':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)train_x_data.append(I.tolist())train_y_data.append(label)elif usage == 'PrivateTest':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)test_x_data.append(I.tolist())test_y_data.append(label)elif usage == 'PublicTest':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)validate_x_data.append(I.tolist())validate_y_data.append(label)# 定义三个pickle文件train_pickle_file = open(os.path.join(self.pickle_data_path, 'train.txt'), 'wb')test_pickle_file = open(os.path.join(self.pickle_data_path, 'test.txt'), 'wb')validate_pickle_file = open(os.path.join(self.pickle_data_path, 'validate.txt'), 'wb')# 写入Picklepickle.dump(train_x_data, train_pickle_file)pickle.dump(train_y_data, train_pickle_file)pickle.dump(test_x_data, test_pickle_file)pickle.dump(test_y_data, test_pickle_file)pickle.dump(validate_x_data, validate_pickle_file)pickle.dump(validate_y_data, validate_pickle_file)# 关闭文件train_pickle_file.close()test_pickle_file.close()validate_pickle_file.close()logging.info(msg='Save data finish!')

这段代码可以直接放到我的之前的文章:点这里 。里面写了一个类,直接放到里面就能够使用。

如果代码里有错误,欢迎大家指正!!

 

这篇关于将FER数据集使用Pickle处理-Python代码的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/840076

相关文章

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》:本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.

springboot security使用jwt认证方式

《springbootsecurity使用jwt认证方式》:本文主要介绍springbootsecurity使用jwt认证方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录前言代码示例依赖定义mapper定义用户信息的实体beansecurity相关的类提供登录接口测试提供一

go中空接口的具体使用

《go中空接口的具体使用》空接口是一种特殊的接口类型,它不包含任何方法,本文主要介绍了go中空接口的具体使用,具有一定的参考价值,感兴趣的可以了解一下... 目录接口-空接口1. 什么是空接口?2. 如何使用空接口?第一,第二,第三,3. 空接口几个要注意的坑坑1:坑2:坑3:接口-空接口1. 什么是空接

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

java之Objects.nonNull用法代码解读

《java之Objects.nonNull用法代码解读》:本文主要介绍java之Objects.nonNull用法代码,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录Java之Objects.nonwww.chinasem.cnNull用法代码Objects.nonN

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2