AI学习记录 - 模型训练中怎么反向传播以及学习率的影响

本文主要是介绍AI学习记录 - 模型训练中怎么反向传播以及学习率的影响，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

画图不易，有用点赞

解释反向传播中具体的运行

假设我们有个简易的神经元连接，如下

在这里插入图片描述

目的是求解绿色w = 5 权重对结果 60的影响程度，因为我们得知道绿色w = 5 对结果的影响程度和影响方向，才好将绿色w = 5 是增大还是缩小，增大多少或者减少多少。

我们知道神经元其实y = w * x + b，多层之后，如图所示

在这里插入图片描述

根据模型直接得出的结果是 60，但是假设真实值是 90，那么60太小了，我们需要增大绿色w=5 的权重，让 60慢慢接近90，怎么做呢？

我们知道了求影响程度，也是一级一级的求，求的是当前公式对下一级的影响程度也就是导数，最后相乘叠加起来，上图知道 w = 5 对 60 的影响程度是 500，当绿色w = 5 增加 1 ， 60 变成 560，在实际训练过程中，500太大了，也就是直接求出来的导数太大，我们会先使用学习率进行缩小计算：

500 * 0.01(学习率) = 5 (变化程度)
5（原权重） + 5 (变化程度) = 10 (新权重)

我们将 10 覆盖绿色框的 5 ，这不就更新权重了吗，更新权重之后，又将红色框 2 输入，得出 1060，哇。。。。。。，学习率太大了，可以变成0.00001试试。

在这里插入图片描述

在实际的场景中，计算公式种类铁定不会这么单一，会融合了超级多的复杂的数学公式，这就涉及到复合多元函数求导数了，我们要依据现行的导数公式进行拆分，拆分成n个小公式，分别对n个小公式求导，然后将所有的导数相乘，就可以得出任意一个权重和偏置对结果的影响程度，然后调整它。

小说一下
怎么求解其中一个变量对结果的影响程度？
假设对其中一个独立小公式变量求导，每一个公式都有其对应的导数公式，x输入到公式，输出y，那么x输入到其对应的导数公式，就得到了一个导数，也就是得到了当前公式对下一级的影响程度。一般一个公式会有很多的变量但是不需要拆分的情况，我们就直接把当前公式的上一级的输出当成是当前的公式的常量值即可。

        sum_h1 = self.w1 * x[0] + self.w2 * x[1] + self.b1h1 = sigmoid(sum_h1)sum_h2 = self.w3 * x[0] + self.w4 * x[1] + self.b2h2 = sigmoid(sum_h2)sum_o1 = self.w5 * h1 + self.w6 * h2 + self.b3o1 = sigmoid(sum_o1)y_pred = o1# --- Calculate partial derivatives.# --- Naming: d_L_d_w1 represents "partial L / partial w1"d_L_d_ypred = -2 * (y_true - y_pred)# Neuron o1d_ypred_d_w5 = h1 * deriv_sigmoid(sum_o1)d_ypred_d_w6 = h2 * deriv_sigmoid(sum_o1)d_ypred_d_b3 = deriv_sigmoid(sum_o1)d_ypred_d_h1 = self.w5 * deriv_sigmoid(sum_o1)d_ypred_d_h2 = self.w6 * deriv_sigmoid(sum_o1)# Neuron h1d_h1_d_w1 = x[0] * deriv_sigmoid(sum_h1)d_h1_d_w2 = x[1] * deriv_sigmoid(sum_h1)d_h1_d_b1 = deriv_sigmoid(sum_h1)
``# 画图不易，有用点赞