②本地图片转TFRecord及opencv安装

2024-08-30 14:18

本文主要是介绍②本地图片转TFRecord及opencv安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

之前我们对图片数据的读取是通过tensorflow的mnist类直接下载和加载mnist数据集。但是更多的时候,我们想通过本地的图片进行训练。

import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

但是如果每次对图片的读取都从磁盘上进行的话,将严重影响程序的效率。
因此想先将本地图片转化成通用、高效的数据读取方法,也就是tensorflow官方推荐的标准格式:tfrecord。
tfrecord数据文件是一种将图像数据和标签统一存储的二进制文件,能更好的利用内存,在tensorflow中快速的复制,移动,读取,存储等。
def _int64_feature(value):return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))def _bytes_feature(value):return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))dirPath = "F:/byxStudy/img/mnist0-9/"
sess = tf.InteractiveSession()
init = tf.global_variables_initializer()
sess.run(init)
#保存tfrecords
tfrecord_filename = 'F:\\byxStudy\\img\\mnist0_9_train.tfrecords'
fileSubDirList = os.listdir(dirPath)
with tf.python_io.TFRecordWriter(tfrecord_filename) as writer:# 遍历子文件夹for fileSubDir in fileSubDirList:fileSubDirSubDir = os.listdir(dirPath + fileSubDir + "/")for filePath in fileSubDirSubDir:image_value = tf.read_file(dirPath + fileSubDir + "/" + filePath)img = tf.image.decode_jpeg(image_value, 1)img = tf.image.resize_images(img, (28, 28), method=0)pic2 = img.eval(session=sess)image_raw = pic2.tostring()example = tf.train.Example(features=tf.train.Features(feature={'height': _int64_feature(pic2.shape[0]),'width': _int64_feature(pic2.shape[1]),'depth': _int64_feature(pic2.shape[2]),'label': _int64_feature(int(fileSubDir)),'image_raw': _bytes_feature(image_raw)}))writer.write(example.SerializeToString())

但是实际跑起来后发现程序运行的很慢。
通过调查得知,tensorflow运行的时候不要创建任何新的计算节点。
这样每一次迭代都会在graph里增加新的节点,导致memory leak,程序越来越慢,最后强行退出。

因此我想通过opencv对图像进行简单的预处理。opencv的安装过程很艰辛,我尝试了各种网上的办法,最终才得以实现,以下是我的尝试:
①通过pycharm直接安装cv2及opencv-python
②通过opencv官网 https://www.opencv.org/releases.html 下载安装opencv
并将..\opencv\build\python\2.7\x64\cv2.pyd文件复制粘贴到python安装目录..Lib\site-packages下
③pip install opencv_python-3.4.0.12-cp36-none-win_amd64.whl
④安装VC++运行时环境,Visual C++ 2015 redistribution
⑤下载python-3.6.3-embed-amd64,并将python3.dll拷贝到python.exe目录下
⑥配置python环境变量
安装 opencv-contrib-python。
通过pip完成了安装!pip install opencv-contrib-python
import cv2
import os
import tensorflow as tfdef _int64_feature(value):return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))def _bytes_feature(value):return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))dir_path = "F:/byxStudy/img/mnist0-9/"
tfrecord_filename = 'F:\\byxStudy\\img\\mnist0_9_train.tfrecords'
dir_list = os.listdir(dir_path)
with tf.python_io.TFRecordWriter(tfrecord_filename) as writer:# 遍历子文件夹for sub_dir in dir_list:sub_dir_list = os.listdir(dir_path + sub_dir + "/")for filePath in sub_dir_list:# 单通道的方式读取图片# 中文目录无法加载图片img = cv2.imread(dir_path + sub_dir + '/' + filePath, 0)img = cv2.resize(img, (28, 28), interpolation=cv2.INTER_CUBIC)image_raw = img.tostring()example = tf.train.Example(features=tf.train.Features(feature={'height': _int64_feature(img.shape[0]),'width': _int64_feature(img.shape[1]),'depth': _int64_feature(1),'label': _int64_feature(int(sub_dir)),'image_raw': _bytes_feature(image_raw)}))writer.write(example.SerializeToString())

这篇关于②本地图片转TFRecord及opencv安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1121061

相关文章

C#中图片如何自适应pictureBox大小

《C#中图片如何自适应pictureBox大小》文章描述了如何在C#中实现图片自适应pictureBox大小,并展示修改前后的效果,修改步骤包括两步,作者分享了个人经验,希望对大家有所帮助... 目录C#图片自适应pictureBox大小编程修改步骤总结C#图片自适应pictureBox大小上图中“z轴

龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

《龙蜥操作系统AnolisOS-23.x安装配置图解教程(保姆级)》:本文主要介绍了安装和配置AnolisOS23.2系统,包括分区、软件选择、设置root密码、网络配置、主机名设置和禁用SELinux的步骤,详细内容请阅读本文,希望能对你有所帮助... ‌AnolisOS‌是由阿里云推出的开源操作系统,旨

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j

使用Python将长图片分割为若干张小图片

《使用Python将长图片分割为若干张小图片》这篇文章主要为大家详细介绍了如何使用Python将长图片分割为若干张小图片,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. python需求的任务2. Python代码的实现3. 代码修改的位置4. 运行结果1. Python需求

Ubuntu系统怎么安装Warp? 新一代AI 终端神器安装使用方法

《Ubuntu系统怎么安装Warp?新一代AI终端神器安装使用方法》Warp是一款使用Rust开发的现代化AI终端工具,该怎么再Ubuntu系统中安装使用呢?下面我们就来看看详细教程... Warp Terminal 是一款使用 Rust 开发的现代化「AI 终端」工具。最初它只支持 MACOS,但在 20

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址:https://d

LinuxMint怎么安装? Linux Mint22下载安装图文教程

《LinuxMint怎么安装?LinuxMint22下载安装图文教程》LinuxMint22发布以后,有很多新功能,很多朋友想要下载并安装,该怎么操作呢?下面我们就来看看详细安装指南... linux Mint 是一款基于 Ubuntu 的流行发行版,凭借其现代、精致、易于使用的特性,深受小伙伴们所喜爱。对

Linux(Centos7)安装Mysql/Redis/MinIO方式

《Linux(Centos7)安装Mysql/Redis/MinIO方式》文章总结:介绍了如何安装MySQL和Redis,以及如何配置它们为开机自启,还详细讲解了如何安装MinIO,包括配置Syste... 目录安装mysql安装Redis安装MinIO总结安装Mysql安装Redis搜索Red

python安装完成后可以进行的后续步骤和注意事项小结

《python安装完成后可以进行的后续步骤和注意事项小结》本文详细介绍了安装Python3后的后续步骤,包括验证安装、配置环境、安装包、创建和运行脚本,以及使用虚拟环境,还强调了注意事项,如系统更新、... 目录验证安装配置环境(可选)安装python包创建和运行Python脚本虚拟环境(可选)注意事项安装

gradle安装和环境配置全过程

《gradle安装和环境配置全过程》本文介绍了如何安装和配置Gradle环境,包括下载Gradle、配置环境变量、测试Gradle以及在IntelliJIDEA中配置Gradle... 目录gradle安装和环境配置1 下载GRADLE2 环境变量配置3 测试gradle4 设置gradle初始化文件5 i