keras data fit generator 数据生成器 多输入数据生成器 图片 分割 逐像素label 直观调试 生成图片

本文主要是介绍keras data fit generator 数据生成器 多输入数据生成器 图片 分割 逐像素label 直观调试 生成图片,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

此处以keras为例。

多数的深度学习方法都是支持批量yeild数据,而不是直接加载所有数据到内存。

给一个对比:

 

25512是未使用数据生成器的

30777是使用数据生成器的。

但是必须要说明的,GPU的内存是不会减少的,都是有多少用多少。给的多就多用,给的少就少用。

 

那么首先给出原始教程:

https://stanford.edu/~shervine/blog/keras-how-to-generate-data-on-the-fly

本教程就是教你怎么改的适合自己的数据。

源代码:(复制到你的文件中)

import numpy as np
import kerasclass DataGenerator(keras.utils.Sequence):'Generates data for Keras'def __init__(self, list_IDs, labels, batch_size=32, dim=(32,32,32), n_channels=1,n_classes=10, shuffle=True):'Initialization'self.dim = dimself.batch_size = batch_sizeself.labels = labelsself.list_IDs = list_IDsself.n_channels = n_channelsself.n_classes = n_classesself.shuffle = shuffleself.on_epoch_end()def __len__(self):'Denotes the number of batches per epoch'return int(np.floor(len(self.list_IDs) / self.batch_size))def __getitem__(self, index):'Generate one batch of data'# Generate indexes of the batchindexes = self.indexes[index*self.batch_size:(index+1)*self.batch_size]# Find list of IDslist_IDs_temp = [self.list_IDs[k] for k in indexes]# Generate dataX, y = self.__dat

这篇关于keras data fit generator 数据生成器 多输入数据生成器 图片 分割 逐像素label 直观调试 生成图片的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1128396

相关文章

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片

利用Python脚本实现批量将图片转换为WebP格式

《利用Python脚本实现批量将图片转换为WebP格式》Python语言的简洁语法和库支持使其成为图像处理的理想选择,本文将介绍如何利用Python实现批量将图片转换为WebP格式的脚本,WebP作为... 目录简介1. python在图像处理中的应用2. WebP格式的原理和优势2.1 WebP格式与传统