本文主要是介绍keras data fit generator 数据生成器 多输入数据生成器 图片 分割 逐像素label 直观调试 生成图片,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
此处以keras为例。
多数的深度学习方法都是支持批量yeild数据,而不是直接加载所有数据到内存。
给一个对比:
25512是未使用数据生成器的
30777是使用数据生成器的。
但是必须要说明的,GPU的内存是不会减少的,都是有多少用多少。给的多就多用,给的少就少用。
那么首先给出原始教程:
https://stanford.edu/~shervine/blog/keras-how-to-generate-data-on-the-fly
本教程就是教你怎么改的适合自己的数据。
源代码:(复制到你的文件中)
import numpy as np
import kerasclass DataGenerator(keras.utils.Sequence):'Generates data for Keras'def __init__(self, list_IDs, labels, batch_size=32, dim=(32,32,32), n_channels=1,n_classes=10, shuffle=True):'Initialization'self.dim = dimself.batch_size = batch_sizeself.labels = labelsself.list_IDs = list_IDsself.n_channels = n_channelsself.n_classes = n_classesself.shuffle = shuffleself.on_epoch_end()def __len__(self):'Denotes the number of batches per epoch'return int(np.floor(len(self.list_IDs) / self.batch_size))def __getitem__(self, index):'Generate one batch of data'# Generate indexes of the batchindexes = self.indexes[index*self.batch_size:(index+1)*self.batch_size]# Find list of IDslist_IDs_temp = [self.list_IDs[k] for k in indexes]# Generate dataX, y = self.__dat
这篇关于keras data fit generator 数据生成器 多输入数据生成器 图片 分割 逐像素label 直观调试 生成图片的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!