本文主要是介绍Datawhale X 李宏毅苹果书 AI夏令营 进阶 Task3-批量归一化+卷积神经网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
- 1.批量归一化
- 1.1 考虑深度学习
- 1.2 测试时的批量归一化
- 1.3 内部协变量偏移
- 2.卷积神经网络
- 2.1 观察 1:检测模式不需要整张图像
- 2.2 简化 1:感受野
- 2.3 观察 2:同样的模式可能会出现在图像的不同区域
- 2.4 简化 2:共享参数
- 2.5 简化 1 和 2 的总结
- 2.6 观察 3:下采样不影响模式检测
- 2.7 简化 3:汇聚
- 2.8 卷积神经网络的应用:下围棋
1.批量归一化
批量归一化(Batch Normalization,BN):一种用于改善神经网络训练过程的技术,通过规范化层的输入来加速训练并提高模型的稳定性。
1.1 考虑深度学习
γ 和 β 参数:BN 引入了可学习的参数 γ(缩放因子)和 β(平移因子),以允许模型调整归一化后的特征。
1.2 测试时的批量归一化
训练与测试:在训练时,BN 使用当前批量的统计数据来归一化;在测试时,使用训练过程中累积的移动平均统计数据。
1.3 内部协变量偏移
在深度网络中,每一层的输入分布会随着网络训练而变化,BN 通过规范化来减少这种偏移。
2.卷积神经网络
卷积神经网络(CNN):主要用于图像识别和分类任务。它通过模拟人类视觉系统的工作原理,利用卷积层来提取图像的特征。
2.1 观察 1:检测模式不需要整张图像
2.2 简化 1:感受野
卷积神经网络会设定一个区域,即感受野(receptivefield),每个神经元都只关心自己的感受野里面发生的事情,感受野是由我们自己决定的。
2.3 观察 2:同样的模式可能会出现在图像的不同区域
2.4 简化 2:共享参数
在卷积层中,相同的滤波器在整个输入图像上滑动,共享权重,减少了模型的参数数量。
2.5 简化 1 和 2 的总结
全连接层:在卷积网络的最后,通常使用全连接层来进行分类。
特征映射(Feature Map):卷积层的输出,表示为多个通道的特征图。
2.6 观察 3:下采样不影响模式检测
下采样:通过减少图像的分辨率来提取图像中的主要特征,同时减少计算量。
2.7 简化 3:汇聚
汇聚(Pooling):减少特征图的空间尺寸,降低参数数量和计算复杂度,同时保持特征的重要信息。
2.8 卷积神经网络的应用:下围棋
这篇关于Datawhale X 李宏毅苹果书 AI夏令营 进阶 Task3-批量归一化+卷积神经网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!