神经网络训练中小知识点记录

2024-03-06 17:32

本文主要是介绍神经网络训练中小知识点记录,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  1. Faster RCNN和SSD有什么不同,为什么SSD快?
    不做region proposal,而且是one-stage
  2. 训练加速的办法
    加大bacth size,或者先adam再SGD
  3. 加大batch size需要调节哪些超参数
    加大学习率,加大epoch
  4. pascal voc数据集坐标从1开始,而不是从0开始,也许采用的是matlab的格式。
  5. 数据扩增:如随机翻转、随机裁剪、颜色抖动等。注意:对图像所做的任何操作都必须对边界框同样执行,如果翻转图像,还必须对应地翻转真值框的坐标。因为卷积具有平移不变性,因此数据增强一般使用的是复杂的策略:翻转、裁切、放缩。考虑到实现的方便性,常见的是使用翻转,若网络允许的话,也会加入一些随机放缩到一组特定尺寸中的某个。
  6. 例如在yolo中,数据扩增的流程如下:
    第一步:加载原始图像
    第二步:随机增加、或者减去原始图片大小的20%来选择新的宽度和高度
    第三步:按照新大小裁剪图像,如果新图像在一个或多个边上大于原始图像,则用0填充。
    第四步:将图像resize到416*416,使其成为正方形
    第五步:随机翻转图像的色调、饱和度曝光(亮度)
    第六步:通过移动和缩放边界框坐标来调整边界框,以适应前面所做的裁剪和调整大小,以及水平翻转等操作。
  7. 旋转是常见数据扩增技术,但是这是很麻烦的,因为牵涉到旋转边界框。所以通常不采用旋转来扩增数据。
  8. SSD采用的数据扩增流程是:
    第一步:随机裁剪一个图像区域,使该区域中物体的最小IOU为0.1/0.3/0.5/0.7/0.9,IOU越小,模型越难检测到物体。
    第二步:使用“缩小”增强,将图像变小,从而构建包含小物体的训练数据,这对于模型更好的处理小物体很有用。
  9. 数据扩增中的随机裁剪可能导致物体的部分或者全部落在裁剪图像之外。因此只希望保留中心位于该裁剪区域某个位置的边界框,不希望保留中心位于裁剪区域之外的框。
  10. 理解网络架构背后的概念、洞察力比架构本身更重要
  11. 再调整超参数上(如内核大小、损失函数的加权因子等)耗费太多时间不值得,因为对性能的提升微乎其微。
  12. 为每个图层指定名称,便于查找。
  13. 单元测试,查看迭代后是否更新权重。
  14. VGG的设计经验:每进行一次尺寸上的下采样(减少),就要增加2倍的卷积核数量。

对于不平衡的样本,需要从数据和算法两个层面解决:

  1. 在数据上:数据重采样(上采样,复制或者数据扩充使得样本少类与样本最多的类一致,下采样,比如在每个batch中保证政府比例相等),累呗平衡采样(将样本归类,将所有类扩充到与样本最多的类一致后随机打乱,方法与数据重采样中的上采样类似)
  2. 在算法上:代价敏感

模型集成

  1. 数据层面:测试阶段数据增广(对同一张图像增广成n张,将n张输入到模型得到n个结果进行集成)、简易集成法。
  2. 模型层面:单模型集成(多层特征融合,将多层特征融合,网络快照法)、多模型集成(多模型生成,同一模型不同初始化、同一模型不同训练轮数、不同目标函数、不同网络结构,多模型集成,直接平均,投票法,丢跌法(将集成结果作为新的特征训练另一个模型)

网络参数初始化

  1. 全零初始化:但是当全零初始化时,导致网络输出全部相同,梯度更新完全相同,模型无法训练
  2. 随机初始化:实际应用,通常将随机参数服从均匀分布或者是高斯分布

目标函数(损失函数)

  1. 分类任务:交叉熵损失函数是常用的,合页损失函数、坡道损失函数、中心损失函数
  2. 回归任务:L1损失函数、L2损失函数

网络正则化(保证泛化能力的同时,避免过拟合)

  1. L2正则化,L1正则化(相较于L2正则化,L1正则化能产生更加稀疏的参数)、Elastic网络正则化(L1和L2按照比例混合)
  2. 随机失活,注意训练阶段和测试阶段的区别,需要乘上系数
  3. 增加训练数据,使用更多的数据扩充方式
  4. 加入随机噪声

超参数设定与网络训练

  1. 超参数设定:输入数据的像素大小、卷积层参数设定(卷积核大小、卷积操作的步长、卷积核个数、通常卷积核大小为奇数,一般是3或者5,卷积核个数一般为2的次幂)、池化层参数设定
  2. 网络训练:在每轮训练前将训练集顺序打乱,是因为信息论中从不相似的事件中学习总是比从相似事件中学习更具有信息量,学习率设定,初始不宜过大,后续需要减缓,是否使用Batch Normalization,优化算法的选择(SGD、基于动量的SGD、Nesterov、Adagrad、Adadelta、RMSProp、Adam等)

这篇关于神经网络训练中小知识点记录的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/780819

相关文章

在Spring Boot中集成RabbitMQ的实战记录

《在SpringBoot中集成RabbitMQ的实战记录》本文介绍SpringBoot集成RabbitMQ的步骤,涵盖配置连接、消息发送与接收,并对比两种定义Exchange与队列的方式:手动声明(... 目录前言准备工作1. 安装 RabbitMQ2. 消息发送者(Producer)配置1. 创建 Spr

k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)

《k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)》本文记录在K8s上运行的MySQL/MariaDB备份方案,通过工具容器执行mysqldump,结合定时任务实... 目录前言一、获取需要备份的数据库的信息二、备份步骤1.准备工作(X86)1.准备工作(arm)2.手

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

统一返回JsonResult踩坑的记录

《统一返回JsonResult踩坑的记录》:本文主要介绍统一返回JsonResult踩坑的记录,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录统一返回jsonResult踩坑定义了一个统一返回类在使用时,JsonResult没有get/set方法时响应总结统一返回

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

java对接海康摄像头的完整步骤记录

《java对接海康摄像头的完整步骤记录》在Java中调用海康威视摄像头通常需要使用海康威视提供的SDK,下面这篇文章主要给大家介绍了关于java对接海康摄像头的完整步骤,文中通过代码介绍的非常详细,需... 目录一、开发环境准备二、实现Java调用设备接口(一)加载动态链接库(二)结构体、接口重定义1.类型

apache的commons-pool2原理与使用实践记录

《apache的commons-pool2原理与使用实践记录》ApacheCommonsPool2是一个高效的对象池化框架,通过复用昂贵资源(如数据库连接、线程、网络连接)优化系统性能,这篇文章主... 目录一、核心原理与组件二、使用步骤详解(以数据库连接池为例)三、高级配置与优化四、典型应用场景五、注意事

SpringBoot实现文件记录日志及日志文件自动归档和压缩

《SpringBoot实现文件记录日志及日志文件自动归档和压缩》Logback是Java日志框架,通过Logger收集日志并经Appender输出至控制台、文件等,SpringBoot配置logbac... 目录1、什么是Logback2、SpringBoot实现文件记录日志,日志文件自动归档和压缩2.1、

qtcreater配置opencv遇到的坑及实践记录

《qtcreater配置opencv遇到的坑及实践记录》我配置opencv不管是按照网上的教程还是deepseek发现都有些问题,下面是我的配置方法以及实践成功的心得,感兴趣的朋友跟随小编一起看看吧... 目录电脑环境下载环境变量配置qmake加入外部库测试配置我配置opencv不管是按照网上的教程还是de