基于深度学习的图像分类优化(FastAI库)

2024-09-04 16:32

本文主要是介绍基于深度学习的图像分类优化(FastAI库),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

https://github.com/fastai/fastai

 渐进的(图片)尺寸调整

 

当训练CNN模型的时候,从小到大的线性调整图片尺寸是一项技术。渐进的尺寸调整在很赞的fastai课程中被描述为:程序员的深度学习实践。一种不错的方式是先用小的尺寸,如64 x 64进行训练,再用这个模型的参数,在128 x 128尺寸上进行训练,如此以往。每个较大的模型都在其体系结构中包含以前较小的模型层和权重。

  FastAI

fastai库是一个强大的深度学习库。如果fastai团队找到了一篇很感兴趣的论文,他们会在不同的数据集上进行测试,并实现调参。一旦成功,就会被合并到他们的库,并且对它的用户开放阅读。这个库包含了很多内置的先进的技巧。基于pytorch,fastai对于大多数任务都有很好的默认参数。部分技巧包括:

  1. 周期性学习率

  2. 一个周期的学习

  3. 结构化数据的深度学习

  完整的权重初始化

在查看可用的标准数据集时,我偶然发现了Place365数据集。Place365数据集包含365种风景分类的1,800,000张图片。本次挑战赛提供的数据集与这个数据集很相似,所以在这个数据集训练的模型,具有一些学习的特征,与我们分类的问题是相关的。由于我们的问题中的类别是Place365数据集的子集,所以我使用了一个用Place365权重初始化的ResNet50模型。这个模型的权重在“pytorch weights”中提供。下面使用的实用函数帮助我们正确地将数据加载到fastai的CNN学习器中。

  混合增强

混合增强是一种通过对已有的两幅图像进行加权线性插值,来形成新图像的增强方法。我们取两张图像,然后使用这些图像的张量进行线性组合。

λ是服从beta分布的随机采样。虽然论文的作者建议使用 λ=0.4,但是fastai的库默认值设为0.1。

  学习率调优

学习率是训练神经网络中最重要的超参数之一。fastai有一种方法来找出合适的初始学习速率。这个技术被称作循环学习率,我们用较低的学习率进行试验,并以指数形式增加,记录整个过程的损失。然后我们根据学习率绘制损失曲线,并选择损失值最陡峭处的学习率。

这个库还为我们自动的处理带有重新启动的随机梯度下降(SGDR)。在SGDR中,学习率在每次迭代开始时会重新设置为原始选择的数值,这些数值会随着迭代减小,就像余弦退火一样。这么做的主要收益是,由于学习率在每次迭代的开始可以重置,因此学习器能够跳出局部极小值或鞍点。

 

  通用对抗网络

生成式对抗网络(GAN是Generative Adversarial Networks的缩写)在2014年被Ian Goodfellow提出,GANs是由两个网络组成的深层神经网络结构,它们相互竞争。 GANs可以模拟任何数据分布。他们可以学习生成类似原始数据的数据,而且可以是任何领域——图像、语音、文本等等。我们使用fastai的Wasserstein GAN的实现来生成更多的训练数据。

GANs包括训练两个神经网络,一个被称为生成器,它生成新的数据实例,另一个被称为判别器,它对它们进行真实性评估,它决定每个数据实例是否属于实际的训练数据集。你可以从这个链接查阅更多。

  去除混淆的图像

训练神经网络的第一步不是写任何的神经网络的代码,而是彻底观察你的数据。这一步至关重要。我喜欢花费大量的时间(以小时为单位)浏览数千张样例,理解他们的分布,寻找他们的模式。——Andrej Karpathy

正如Andrej Karpathy所说,“数据调查”是一个重要的一步。关于数据调查,我发现很多数据包含不少于两种的类别。

方法-1

使用之前训练的模型,我对整个训练数据进行了预测。然后丢弃概率得分超过0.9但是预测错误的图像。

 

方法 2

fast.ai提供了一个方便的插件“图像清理器插件”,它允许你为自己的模型清理和准备数据。图像清理器可以清洗不属于你数据集的图像。它在一行中呈现图像,使你有机会在文件系统中删除文件。

 

  测试时间增加

测试时间的增加包括提供原始图像的一系列不同的版本,并把他们传递到模型中。从不同的版本中计算出平均值,并给出图像的最终输出。

 

fast.ai中测试时间的增加

之前提出的10-crop技巧跟此技巧类似。我首先在残差网络的论文中读到了10-crop技巧。10-crop技巧包括沿着四角和中心点各裁剪一次,得到五张图像。反向重复以上操作,得到另外五张图像,一共十张。测试时间增加的方法无论如何比10-crop技巧要快。

  集成

        机器学习中的集成是一种使用多种学习算法的技术,这种技术可以获得比单一算法更好的预测性能。集成学习最好在下面的条件下工作:

  1. 组成模型具有不同的性质。比如,集成ResNet50和InceptionNet要比组合ResNet50和InceptionNet有用的多,因为它们本质上是不同的。

  2. 组成模型的相关性较低。

  3. 改变模型的训练集,能得到更多的变化。

 

  结论

  1. 渐进的尺寸调整在开始时是一个好主意。

  2. 花时间去理解你的数据并且可视化是必须的。

  3. 像fastai这种具有出色的初始化参数的出色的深度学习库,确实有帮助。

  4. 只要有可能,就要尽量使用迁移学习,因为确实有用。最近,深度学习和迁移学习已经应用到了结构化数据,所以迁移学习绝对应该是首先要尝试的事情。

  5. 最先进的技术例如混合增强,测试时间增加,周期学习率将毫无疑问的帮助你将准确率提高1到2个百分点。

  6. 始终搜索与你的问题相关的数据集,并且把他们尽可能的用在你的训练数据集中。如果可能,深度学习模型在这些模型上训练之后,使用他们的参数作为你模型的初始权重。

这篇关于基于深度学习的图像分类优化(FastAI库)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1136439

相关文章

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

OpenCV图像形态学的实现

《OpenCV图像形态学的实现》本文主要介绍了OpenCV图像形态学的实现,包括腐蚀、膨胀、开运算、闭运算、梯度运算、顶帽运算和黑帽运算,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起... 目录一、图像形态学简介二、腐蚀(Erosion)1. 原理2. OpenCV 实现三、膨胀China编程(

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版:拆分成模块让模块更强大:使用 __init__.py你一定会遇到的问题模www.

SpringBoot首笔交易慢问题排查与优化方案

《SpringBoot首笔交易慢问题排查与优化方案》在我们的微服务项目中,遇到这样的问题:应用启动后,第一笔交易响应耗时高达4、5秒,而后续请求均能在毫秒级完成,这不仅触发监控告警,也极大影响了用户体... 目录问题背景排查步骤1. 日志分析2. 性能工具定位优化方案:提前预热各种资源1. Flowable

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis