训练结果到底好不好【神经网络模型优化】如何根据训练和验证准确度 / 损失曲线诊断优化我们的学习模型

本文主要是介绍训练结果到底好不好【神经网络模型优化】如何根据训练和验证准确度 / 损失曲线诊断优化我们的学习模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在进行深度学习神经网络的训练过程中，为了提高网络模型的准去度，这里就其中的一些技巧进行概要描述大。

然而在实际中，在原理和方法几乎定型的时候，我们往往需要针对自己的任务和自己设计的神经网络进行debug才能达到不错的效果，这也就是一个不断调试不断改进的一个过程。这其实也类似于制造业里面的制造工艺。

咱们古人练就长生不老丹，便是典型的调参过程。

~~（题外话：长生不老丹里面一味非常重要的药材叫霍山石斛，我家就是种植销售霍山石斛的，哈哈哈哈哈啊哈哈）~~

那么到底如何去Debug呢？

以下的内容部分来自CS231n课程，以及汇总了自己在训练神经网络中遇到的很多问题。

让我们先谈点简单的，如果不考虑debug，采取什么方式可以提升我们的训练精度呢？

吴恩达曾提出了这几点：

寻找更多的数据
让网络层数更深一些
在神经网络中采取一些新的方法
训练的时间更长点(更多的迭代次数)
改变batch-size
尝试使用正则化技术(权重衰减)
权衡结果的偏置和方差(bias and variance)
使用更多的GPU

以上这些方法是神经网络本身的通用的方法，而具体细化到自己所在的任务时，我们需要对我们此刻所做的任务进行单独的Debug，来寻找问题所在。

如何Debug？和编写程序类似，神经网络中的超参数相当于我们的代码，而神经网络的输出信息相当于代码执行的结果。

超参数：超参数是训练神经网络必不可少的变量，常见的超参数有：

学习率(如何设置学习率)
batchsize
权重衰减系数
dropout系数
选择适用的优化器
是否使用batch-normalization
神经网络设计的结构(比如神经网络的层数，卷积的大小等等)

如何去调整这些参数呢？当然是通过观察神经网络的输出信息来做出相应的修改，而观察神经网络输出信息的利器就是可视化。

输出信息可视化

观察训练过程中各种参数的变化是非常重要的，首先最重要的当属损失曲线(loss curves)。

损失曲线

上图所示是一个比较“理想”的损失曲线变化图，在训练开始阶段损失值下降幅度很大，说明学习率合适且进行梯度下降过程，在学习到一定阶段后，损失曲线趋于平稳，损失变化没有一开始那么明显。曲线中的毛刺是因为batch-size的关系，设置越大，毛刺越小，毕竟每个batch-size的数据相当于不同的个体。

上图也是一个正确的损失曲线，虽然看到变化趋势并不是很明显，但仍然可以看出曲线在慢慢下降，这个过程其实是一个fune-turning的阶段。承接于上一幅图的损失曲线，这幅图的损失值已经很小了，虽然毛刺很多，但是总体趋势是对的。

那么什么才是有问题的去曲线呢？借用CS231n中的PPT：

上图中，左上角的图像是显然的学习不到任何东西(可能这样看起来比较困难，可以适当smooth一下)，而第二个则是典型的过拟合现象；第三个是更严重的过拟合；第四个损失值没有趋于平稳，很有可能是没有训练够；第五个经历了比较长的iterate才慢慢收敛，显然是初始化权重太小了；而最后一个越学习损失值越大，很有可能是“梯度向上”了。

除此之外，其实上图还可以发现更多的错误：左上一和二：没有对数据集进行洗牌，也就是每次训练都是采用同一个顺序对数据集进行读取；右上一：训练的过程中突然发现曲线消失了，为什么？因为遇到了nan值(在图中是显示不出来的)，但我们要意识到这个问题，这个问题很有可能是模型设置的缘故；最后一个图显示较小比例的val集设置会导致统计不准确，比较好的val设置比例是0.2。

上图左边的曲线图可以明显看到，一共训练了五次(五条曲线)，但是在训练过程中却发现“很难”收敛，也就是神经网络学地比较困难。为什么呢？原因很简单，很有可能使我们在softmax层之前加入了非线性激活函数(比如RELU)，本来softmax函数希望我们输入负数或者正数(负数输入时Softmax期望输出比较小，而输入正数时softmax其实输出比较大)，但是relu只有0和1，那么输入到softmax会造成信息的丢失，造成学习异常困难。

总结下，如果你认为你的神经网络设计没有明显错误的，但损失曲线显示仍然很奇怪，那么很有可能：

损失函数采用的有问题
训练的数据的载入方式可能有问题
优化器(optimizer)可能有问题
一些其他的超参数设置可能有问题

总而言之，损失曲线是观察神经网络是否有问题的一大利器，我们在训练过程中非常有必要去观察我们的损失曲线的变化，越及时越好！

正则化

除了损失函数曲线，准确率曲线也是我们观察的重点，准确率曲线不仅可以观察到我们的神经网络是否往正确方向前进，更主要的是：观察损失和准确率的关系。因为我们在衡量一个任务的时候使用的评价标准(metric)和使用的损失函数往往是不相同的，比较典型的例子是：

图像分割中的IOU评价标准和DICE损失函数。

"Dice" is a a metric for model evaluation equal to intersection(A,B)/(A+B). Similar to IoU (IoU = intersection(A,B)/union(A,B)), it is used to assess a quality of image segmentation models. "Accuracy" is not really good for this task. For example, in this competition, you can quite easily get 99.9% accuracy of predicted pixels, but the performance of the models may be not as great as you think. Meanwhile, such metrics as dice or IoU can describe your models reasonably well, therefore they are most often used to asses publicly available models. The implementation of the metric used for score evaluation in this competition takes some time and requires additional post-processing, such as mask splitting. Therefore, it is not so common for quick model evaluation. Also, sometimes "soft dice" (dice with multiplication instead of intersection) is used as a loss function during training of image segmentation models.

当然，还有随机失活和权重衰减两个比较重要的超参数，这两个参数通过观察损失曲线观察是不明显滴，只有通过特定的评价标准曲线，设置好标准再进行比较，才可以判断出是否需要添加。