pix2pix在keras上的训练以及优化效果过程

2024-01-23 12:20

本文主要是介绍pix2pix在keras上的训练以及优化效果过程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

pix2pix在keras上训练

  • 1 背景
  • 2 初步训练
  • 3 优化
    • 3.1. 工具类优化:
    • 3.2 算法类优化
  • 4. 优化效果
  • 5. 存在的问题
  • 6. 如果有什么建议可以评论联系我,一起来讨论下.

1 背景

pix2pix提供的示例是使用tensorflow,我我参考着来做了一个keras的实现,原项目中使用的是生成网络加上判别网络来提升生成网络,而我观察实际在训练中判别部分起到的作用比较小,所以我先尝试只使用生成网络来做训练.
具体的项目代码在:pix2pix-keras

2 初步训练

下图为迭代了80次之后在训练下的一个效果,纹理上是逐渐变清晰的.
在这里插入图片描述
但是问题是左上部分的几乎没到训练出效果.

3 优化

此问题的根本是在最后一层时左上部分的输出值过大.

为了定位解决此问题我尝试了几个角度的优化:

3.1. 工具类优化:

- 将所有layer的输出绘制成图像打出,用于观察在那一层开始出现的偏差
- 将所有layer的weight输出,用于观察是如何滚最后一层的时候出现过大数值.
- 将训练过程中每次样本产生梯度更新是的输入输出画出来观察是从那些步骤开始出现问题.
![将没一层输出可视化](https://img-blog.csdnimg.cn/2019122015281159.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hscG93ZXI=,size_16,color_FFFFFF,t_70)![将所有训练步骤产生的跟新全部打出来](https://img-blog.csdnimg.cn/20191220150910498.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hscG93ZXI=,size_16,color_FFFFFF,t_70)

工具类代码均更新在git上.

最终定位到是是部分样本上由于光照和裁剪的问题
如遇到以下的样本,对训练引起的偏差较大.
图片中最下层是容易一起训练跑偏的样本,分析如,周边有几个黑色三角型的剪裁.将建筑物遮挡过多,但输入是未处理这些遮挡
在这里插入图片描述

3.2 算法类优化

为了更好训练,我重新审核了一次训练样本,将其中比较差的样本剔除,然后调整loss从mse到mae,之前使用平方是为了加大对误差的灵敏度,后来发现最后输出的数值过小平方反而降低了训练效率.另外为了提高训练速度吧batch该为了2,这个是我的内存能够加载的上限.

4. 优化效果

loss曲线如下:
在这里插入图片描述
不同epho下测试数据上效果:
在这里插入图片描述
总的来说相对于之前的效果好了不少.

5. 存在的问题

我把测试集所有的建筑物全部过了一遍发现以下问题:

  1. 纹理特征还是有一点模糊.
  2. 会丢失一些建筑物特有特征,如屋檐,窗帘,阳台等
  3. 输出墙面基本都是以灰土色为主,原本建筑物可能是红色墙面
    在这里插入图片描述
    在这里插入图片描述
    原因分析:
  4. 细致话的特征样本较少,如阳台虽然都拿绿色标记,但是不同建筑物的阳台各有风格,少量的样本对这种细的纹理特征较难学习到.

6. 如果有什么建议可以评论联系我,一起来讨论下.

这篇关于pix2pix在keras上的训练以及优化效果过程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/636390

相关文章

oracle 11g导入\导出(expdp impdp)之导入过程

《oracle11g导入导出(expdpimpdp)之导入过程》导出需使用SEC.DMP格式,无分号;建立expdir目录(E:/exp)并确保存在;导入在cmd下执行,需sys用户权限;若需修... 目录准备文件导入(impdp)1、建立directory2、导入语句 3、更改密码总结上一个环节,我们讲了

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Java Kafka消费者实现过程

《JavaKafka消费者实现过程》Kafka消费者通过KafkaConsumer类实现,核心机制包括偏移量管理、消费者组协调、批量拉取消息及多线程处理,手动提交offset确保数据可靠性,自动提交... 目录基础KafkaConsumer类分析关键代码与核心算法2.1 订阅与分区分配2.2 拉取消息2.3

Python实战之SEO优化自动化工具开发指南

《Python实战之SEO优化自动化工具开发指南》在数字化营销时代,搜索引擎优化(SEO)已成为网站获取流量的重要手段,本文将带您使用Python开发一套完整的SEO自动化工具,需要的可以了解下... 目录前言项目概述技术栈选择核心模块实现1. 关键词研究模块2. 网站技术seo检测模块3. 内容优化分析模

Java实现复杂查询优化的7个技巧小结

《Java实现复杂查询优化的7个技巧小结》在Java项目中,复杂查询是开发者面临的“硬骨头”,本文将通过7个实战技巧,结合代码示例和性能对比,手把手教你如何让复杂查询变得优雅,大家可以根据需求进行选择... 目录一、复杂查询的痛点:为何你的代码“又臭又长”1.1冗余变量与中间状态1.2重复查询与性能陷阱1.

Python内存优化的实战技巧分享

《Python内存优化的实战技巧分享》Python作为一门解释型语言,虽然在开发效率上有着显著优势,但在执行效率方面往往被诟病,然而,通过合理的内存优化策略,我们可以让Python程序的运行速度提升3... 目录前言python内存管理机制引用计数机制垃圾回收机制内存泄漏的常见原因1. 循环引用2. 全局变

AOP编程的基本概念与idea编辑器的配合体验过程

《AOP编程的基本概念与idea编辑器的配合体验过程》文章简要介绍了AOP基础概念,包括Before/Around通知、PointCut切入点、Advice通知体、JoinPoint连接点等,说明它们... 目录BeforeAroundAdvise — 通知PointCut — 切入点Acpect — 切面

C++ STL-string类底层实现过程

《C++STL-string类底层实现过程》本文实现了一个简易的string类,涵盖动态数组存储、深拷贝机制、迭代器支持、容量调整、字符串修改、运算符重载等功能,模拟标准string核心特性,重点强... 目录实现框架一、默认成员函数1.默认构造函数2.构造函数3.拷贝构造函数(重点)4.赋值运算符重载函数