caffe专题二将图像写入LMDB与读取LMDB—python实现

2023-10-20 00:48
文章标签 python 实现 读取 图像 caffe 写入 专题 lmdb

本文主要是介绍caffe专题二将图像写入LMDB与读取LMDB—python实现，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

转自：https://blog.csdn.net/langb2014/article/details/52995349    大牛的文章啊，学习了

调用的是caffe的python接口

一：将图像写入LMDB

import os
import glob
import random
import numpy as npimport cv2import caffe
from caffe.proto import caffe_pb2
import lmdb#Size of images
IMAGE_WIDTH = 227
IMAGE_HEIGHT = 227# train_lmdb、validation_lmdb 路径
train_lmdb = '/xxxxx/train_lmdb'
validation_lmdb = '/xxxxx/validation_lmdb'# 如果存在了这个文件夹, 先删除
os.system('rm -rf  ' + train_lmdb)
os.system('rm -rf  ' + validation_lmdb)# 读取图像
train_data = [img for img in glob.glob("/xxx/*jpg")]
test_data = [img for img in glob.glob("/xxxx/*jpg")]# Shuffle train_data
# 打乱数据的顺序
random.shuffle(train_data)# 图像的变换, 直方图均衡化, 以及裁剪到 IMAGE_WIDTH x IMAGE_HEIGHT 的大小
def transform_img(img, img_width=IMAGE_WIDTH, img_height=IMAGE_HEIGHT):#Histogram Equalizationimg[:, :, 0] = cv2.equalizeHist(img[:, :, 0])img[:, :, 1] = cv2.equalizeHist(img[:, :, 1])img[:, :, 2] = cv2.equalizeHist(img[:, :, 2])#Image Resizing, 三次插值img = cv2.resize(img, (img_width, img_height), interpolation = cv2.INTER_CUBIC)return imgdef make_datum(img, label):#image is numpy.ndarray format. BGR instead of RGBreturn caffe_pb2.Datum(channels=3,width=IMAGE_WIDTH,height=IMAGE_HEIGHT,label=label,data=np.rollaxis(img, 2).tobytes())　# or .tostring() if numpy < 1.9# 打开 lmdb 环境, 生成一个数据文件，定义最大空间, 1e12 = 1000000000000.0
in_db = lmdb.open(train_lmdb, map_size=int(1e12)) 
with in_db.begin(write=True) as in_txn: # 创建操作数据库句柄for in_idx, img_path in enumerate(train_data):if in_idx %  6 == 0: # 只处理 5/6 的数据作为训练集continue         # 留下 1/6 的数据用作验证集# 读取图像. 做直方图均衡化、裁剪操作img = cv2.imread(img_path, cv2.IMREAD_COLOR)img = transform_img(img, img_width=IMAGE_WIDTH, img_height=IMAGE_HEIGHT)if 'cat' in img_path: # 组织 label, 这里是如果文件名称中有 'cat', 标签就是 0label = 0         # 如果图像名称中没有 'cat', 有的是 'dog', 标签则为 1else:                 # 这里方, label 需要自己去组织label = 1         # 每次情况可能不一样, 灵活点datum = make_datum(img, label)# '{:0>5d}'.format(in_idx):#      lmdb的每一个数据都是由键值对构成的,#      因此生成一个用递增顺序排列的定长唯一的keyin_txn.put('{:0>5d}'.format(in_idx), datum.SerializeToString()) #调用句柄，写入内存print '{:0>5d}'.format(in_idx) + ':' + img_path# 结束后记住释放资源，否则下次用的时候打不开。。。
in_db.close() # 创建验证集 lmdb 格式文件
print '\nCreating validation_lmdb'
in_db = lmdb.open(validation_lmdb, map_size=int(1e12))
with in_db.begin(write=True) as in_txn:for in_idx, img_path in enumerate(train_data):if in_idx % 6 != 0:continueimg = cv2.imread(img_path, cv2.IMREAD_COLOR)img = transform_img(img, img_width=IMAGE_WIDTH, img_height=IMAGE_HEIGHT)if 'cat' in img_path:label = 0else:label = 1datum = make_datum(img, label)in_txn.put('{:0>5d}'.format(in_idx), datum.SerializeToString())print '{:0>5d}'.format(in_idx) + ':' + img_path
in_db.close()
print '\nFinished processing all images'

二：配置文件中使用proto

layer {top: "data"top: "label"name: "data"type: "Data"data_param {source: "/xxxxx/train_lmdb"backend:LMDBbatch_size: 128}transform_param {#mean_file: "/xxxxx/mean.binaryproto"mirror: true}include: { phase: TRAIN }
}

三：读取proto数据

import caffe
from caffe.proto import caffe_pb2import lmdb
import cv2
import numpy as nplmdb_env = lmdb.open('mylmdb', readonly=True) # 打开数据文件
lmdb_txn = lmdb_env.begin() # 生成处理句柄
lmdb_cursor = lmdb_txn.cursor() # 生成迭代器指针
datum = caffe_pb2.Datum() # caffe 定义的数据类型for key, value in lmdb_cursor: # 循环获取数据datum.ParseFromString(value) # 从 value 中读取 datum 数据label = datum.labeldata = caffe.io.datum_to_array(datum)print data.shapeprint datum.channelsimage = data.transpose(1, 2, 0)cv2.imshow('cv2.png', image)cv2.waitKey(0)cv2.destroyAllWindows()
lmdb_env.close()

Caffe多标签输入常用的的方法有以下几种：
1. 修改Caffe源码使其支持多标签输入，参考CSDN博客《caffe 实现多标签输入（multilabel、multitask）》
2. HDF5 + Slice Layer，HDF5支持多标签，但Caffe在读取HDF5时会将所有数据一次性预读进内存中，在数据量较大时就对内存有较高要求了；也可以对数据分片，通过在prototxt文件中加入Slice Layer层使Caffe依次读取每个数据分片。
3. 使用两个data输入（例如两个LMDB，一个存储图片，一个存储多标签），然后修改prototxt文件配置两个data layer。

实现第三种方法支持多标签输入。Caffe中单标签LMDB的创建可以通过自带的脚本很方便的实现，但多标签LMDB的创建并不像单标签那样简单易用，需要使用者对Caffe的Data Layer有足够的了解。

多标签的场景下，数据是 N x H x W x C 的一个4维的blob，对应的标签是 N x M x 1 x 1的一个4维的blob。

创建图片LMDB

使用下面的代码创建两个图片LMDB：
- train_data_lmdb - 用于训练的图片LMDB 
- val_data_lmdb - 用于测试的图片LMDB

# 生成训练图片列表文件，即将tarin_images_dir目录下所有图片的路径写入temp.txt文件
find tarin_images_dir -type f -exec echo {} \; > temp.txt# 在temp.txt文件中每一行后追加伪标签，伪标签起占位符作用，实际并不使用 
sed "s/$/ 0/" temp.txt > train_images.txt# 根据train_images.txt创建train_data_lmdb
$CAFFE_HOME/build/tools/convert_imageset -resize_height=256 -resize_width=256 / train_images.txt train_data_lmdb# 计算图片均值
$CAFFE_HOME/build/tools/compute_image_mean train_data_lmdb mean.binaryproto

上面的代码用来生成train_data_lmdb，接下来修改代码生成val_data_lmdb.
创建标签LMDB使用下面的代码创建两个标签LMDB：
- train_label_lmdb - 用于训练的标签LMDB 
- val_label_lmdb - 用于测试的标签LMDB读入每幅图片的多标签，生成标签LMDB，注意图片LMDB和标签LMDB中的顺序一致，创建LMDB的部分Python
代码如下：
import sys 
import numpy as np
import lmdbcaffe_root = '/caffe/' 
sys.path.insert(0, caffe_root + 'python')
import caffe# 根据多标签的位置选择从数据库、文件等中读取每幅图片的多标签，将其构造成一维的np.array类型，并追加入all_labels列表
all_labels = []
# Add your code of reading labels here ！# 创建标签LMDB
key = 0
lmdb_path = "/train_label_lmdb"
env = lmdb.open(lmdb_path, map_size=map_size)
with env.begin(write=True) as txn: for labels in all_labels:datum = caffe.proto.caffe_pb2.Datum()datum.channels = labels.shape[0]datum.height = 1datum.width =  1datum.data = labels.tostring()          # or .tobytes() if numpy < 1.9 datum.label = 0key_str = '{:08}'.format(key)txn.put(key_str.encode('ascii'), datum.SerializeToString())key += 1

上面的代码用来生成train_label_lmdb，接下来修改代码生成val_label_lmdb.

修改prototxt文件

上面我们已经创建了四个数据集train_data_lmdb、val_data_lmdb、train_label_lmdb、val_label_lmdb，并且计算了图片均值mean.binaryproto。

接下来就是修改神经网络deploy.prototxt使其支持多标签训练。由于有四个数据集，我们只需要在deploy.txt中加入四个data layers，分别用来配置这四个数据集。需要注意的是在标签lmdb对应的data layer的参数transform_param中通过scaling参数对label进行缩放，该操作的作用是按照Sigmoid Cross Entropy Loss函数的要求将label范围从[0,255]正则化到[0,1]（根据采用的多标签Loss函数的要求，scaling参数可以修改)。

将deploy.prototxt中原有的data layers修改为如下的四个data layers：

# ------------- 配置训练阶段的图片数据集 ----------------
layers {name: "data"type: DATAtop: "data"include {phase: TRAIN}transform_param {mirror: truecrop_size: 224mean_file: "data.binaryproto"    # 修改为你的均值文件路径}data_param {source: "train_data_lmdb"        # 修改为你的图片lmdb路径batch_size: 32backend: LMDB}
}# ------------- 配置训练阶段的标签数据集 ----------------
layers {name: "data"type: DATAtop: "label"include {phase: TRAIN}transform_param {scale: 0.00390625                 # 根据需求设置标签缩放系数mean_value: 0}data_param {source: "train_label_lmdb"        # 修改为训练集图片lmdb路径batch_size: 32backend: LMDB}
}# ------------- 配置测试阶段的图片数据集 ----------------
layers {name: "data"type: DATAtop: "data"include {phase: TEST}transform_param {mirror: falsecrop_size: 224mean_file: "mean.binaryproto"      # 修改为你的均值文件路径}data_param {source: "val_data_lmdb"            # 修改为训练阶段的图片lmdb路径batch_size: 1backend: LMDB}
}# ------------- 配置测试阶段的标签数据集 ----------------
layers {name: "data"type: DATAtop: "label"include {phase: TEST}transform_param {scale: 0.00390625                  # 根据需求设置标签缩放系数mean_value: 0}data_param {source: "val_label_lmdb"           # 修改为测试阶段的标签lmdb路径batch_size: 1backend: LMDB}
}......# ----------------- 多标签损失函数  -------------------
layers {name: "loss"type: SIGMOID_CROSS_ENTROPY_LOSSbottom: "fc8"                       # 根据需求配置bottom: "label"top: "loss"
}








这篇关于caffe专题二将图像写入LMDB与读取LMDB—python实现的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/243503。

相关文章

基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

原文链接： https://tecdat.cn/?p=37628 6月16日，小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞，这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示，公司准备量产，并计划今年四季度开启预售小鹏汇天分体式飞行汽车，探索分体式飞行汽车城际通勤。阅读原文，获取专题报告合集全文，解锁文末271份飞行汽车相关行业研究报告。 据悉，业内人士对飞行汽车行业
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...
Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸： 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  （注意不能是bmp格式） 替换默认锁屏壁纸： 将图片资源放入vendo
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2