[deeplearning-005] 一般形式的反向传导算法BP最简推导-3

2024-06-11 09:32

本文主要是介绍[deeplearning-005] 一般形式的反向传导算法BP最简推导-3,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前述两篇推导还是太繁琐了,有一种更简单的方式。因为排版的问题,直接贴图。







根据上述公式,可以实现一个简单的验证性python代码

#!/usr/bin/env python
#!-*- coding:utf-8 -*-#bp alogrithmimport math
import numpy as np#active function
def f(x):return 1.0/(1+math.exp(-x))#应激函数的一阶导数
def d_f(x):return f(x)*(1-f(x))#神经网络层数
p=3
#神经网络每层的神经元数量,第一个值是None,是为了脚标从1开始
d = [None, 2,3,1]#有一个None,是为了脚标从1开始
#权重矩阵
W = [None]
#bias
b = [None]#z^l_{j,i}
z = [None]
#a^l_{j,i}
a = [None]
#a一阶偏导
del_a = [None]for i in range(1,p):#随机初始化权重矩阵W.append(np.array(0.01*np.random.rand(d[i+1], d[i])))#随机初始化biasb.append(np.array(0.01*np.random.rand(1, 1)))for i in range(1,p+1):#初始化z值z.append(np.zeros((d[i],1), np.float64))#初始化a值a.append(np.zeros((d[i], 1), np.float64))#初始化a的一阶偏导del_a.append(np.zeros((d[i], 1), np.float64))#样本
x = np.array([0.0, 1.0], np.float64).reshape((2,1))
y = np.array([1.0], np.float64)
#学习速率
eta = 0.1;###开始计算
n = 1
#最大迭代次数
max_iter = 200#将输入层设置为样本x
a[1]=x#循环计算
while n <= max_iter:print('第'+str(n)+'迭代'+'-'*20)#计算z^l_{j,i}和z^l_{j,i}for l in range(2,p+1):print('*'*5)print(' ' * 2, '计算z[' + str(l) + ']')print(' ' * 4, 'a['+str(l-1)+']=', a[l-1])print(' ' * 4, 'W['+str(l-1)+']=', W[l-1])print(' ' * 4, 'b['+str(l-1)+']=', b[l-1])z[l] = np.dot(W[l-1], a[l-1])+b[l-1]print(' ' * 4, 'z['+str(l)+']=',z[l])print(' '*2,'计算a['+str(l)+']')for i in range(d[l]):a[l][i,0] = f(z[l][i,0])print(' ' * 4, 'a['+str(l)+']=', a[l])print(' ' * 2, '计算a和z结束')#计算\frac{\partial J}{\partial a^l_{j,i}}print('*'*5)print(' '*2, '计算del_a')#第p层需要单独计算for i in range(d[p]):del_a[p][i] = -(y[i]-a[p][i,0])print(' '*4, 'del_a['+str(p)+']=', del_a[p])#第i层print(' '*4, '**')for i in range(p-1, 0,-1):#第i层的第j个神经元for j in range(d[i]):#先将其值置0del_a[i][j,0] = 0#然后求和for k in range(d[i+1]):del_a[i][j,0] += W[i][k,j]*d_f(z[i+1][k,0])*del_a[i+1][k][0]print(' ' * 4, 'del_a[' + str(i) + ']=', del_a[i])#计算新的W_l_{j,i}#第l层for l in range(p-1,0,-1):#第l层第i个神经元print('W['+str(l)+']=', W[l])print('b['+str(l)+']=', b[l])for i in range(d[l]):for j in range(d[l+1]):W[l][j,i] -= eta*del_a[l+1][j]*d_f(z[l+1][j,0])*a[l][i,0]b[l] -= eta*del_a[l+1][j]*d_f(z[l+1][j,0])print('new W[' + str(l) + ']=', W[l])print('new b[' + str(l) + ']=', b[l])n += 1


latex的文档

\documentclass[a4paper, 12pt]{article}
\usepackage{CJK}%define the tile
\title{BackPropagation Alogrithom}\usepackage{graphicx}
\usepackage{pythonhighlight}\begin{document}\begin{CJK}{UTF8}{gkai}%generates the title
\maketitle\section{前馈神经网络}
前馈神经网络:设神经网络的层数是$p$,各层分别记为$L^1,L^2,...,L^p$,每层的神经元数量记为$d^1, d^2,...,d^p$,每个神经元的应激函数记为$f(x)$。训练集是$\{(\mathbf{x}^k, \mathbf{y}^k) \} k=1,...,m$,显而易见,$\mathbf{x^k} \in R^{d^1\times 1}$,$\mathbf{y^k} \in R^{d^p\times 1}$,$\mathbf{x}^k$是一维列向量且元素个数跟神经网络输入层的神经元数量相同,同理$\mathbf{y}^k$是一维列向量且元素个数跟神经网络输出层神经元数量相同。为推导方便,设$(\mathbf{x}, \mathbf{y})$是一组样本。根据神经网络的定义,在第$l$层,第$i$个神经元的输入值记为$z^l_i$,输出值记为$a^l_i$,有如下关系:
\begin{eqnarray*}
a^l_i &=& f(z^l_i)\\
z^{l+1}_j &=& \sum_{i=1}^{d^l}\mathbf{W}^{l}_{j,i}a^l_i+ \mathbf b^l
\end{eqnarray*}
上述两式,定义了神经网络的计算方式。其中,$\mathbf{W}^l$是第$l$层和第$l+1$层之间的权重矩阵,$\mathbf{W}^l_{j,i}$是第$l$层的第$i$个神经元的与第$l+1$层的第$j$个神经元的权重系数,$\mathbf b^l$是第$l$层的bias。对于输入层,可以视为$a^1_i=\mathbf{x}_i$,也就是说,输入层的第$i$个输出值是样本$\mathbf x$的第$i$个元素。神经网络对$(\mathbf{x},\mathbf{y})$拟合误差的代价函数如下:
\begin{eqnarray*}
J(\mathbf{W},\mathbf{b};\mathbf{x}, \mathbf{y})&=&\frac{1}{2}\sum_{q=1}^{d^p}(\mathbf{y}_q-a^p_q)^2\\
&=&\frac{1}{2}\sum_{q=1}^{D}(\mathbf{y}_q-a^p_q)^2\\
&=&\frac{1}{2}\sum_{q=1}^{D}(\mathbf{y}_q-f(z^p_q))^2\\
\end{eqnarray*}
其中,$D=d^p$,代价函数的形式在求解中不会变动,因此用$D$以避免计算中的误解,$\mathbf{y}_q$是$\mathbf{y}$的第$q$个元素,后文$J(\mathbf{W},\mathbf{b};\mathbf{x}, \mathbf{y})$将简写为$J$。\section{权重系数和偏差的一阶偏导求解}前馈神经网络的输出,是样本值进入输入层,从前向后,逐层计算。BP算法求解优化问题,让拟合误差从后向前,从输出层逐层传递到隐层和输入层,由此优化所有权重系数,由此得名BackPropagation反向传播。BP算法的求解推导,本质就是推导相邻两层之间的关系。$J$对$\mathbf b^l$的一阶偏导通式:
\begin{eqnarray*}
\frac{\partial J}{\partial \mathbf b^l} 
&=& \sum_{j=1}^{d^{l+1}} \frac{\partial{J}}{\partial a^{l+1}_j}\frac{\partial a^{l+1}_j}{\partial z^{l+1}_j}\frac{\partial z^{l+1}_j}{\partial \mathbf b^l}\\
&=& \sum_{j=1}^{d^{l+1}}  \frac{\partial{J}}{\partial a^{l+1}_j}\frac{\partial a^{l+1}_j}{\partial z^{l+1}_j}\\
&=& \sum_{j=1}^{d^{l+1}}  \frac{\partial{J}}{\partial a^{l+1}_j}f^{'}(z^{l+1}_j)\\
\end{eqnarray*}$J$对$\mathbf{W}^l_{j,i}$的一阶偏导通式:
\begin{eqnarray*}
\frac{\partial{J}}{\partial \mathbf{W}^l_{j,i}}
&=&\frac{\partial{J}}{\partial a^{l+1}_j}\frac{\partial a^{l+1}_j}{\partial z^{l+1}_j}\frac{\partial z^{l+1}_j}{\partial \mathbf{W}^{l}_{j,i}}\\
&=&\frac{\partial{J}}{\partial a^{l+1}_j}\frac{\partial a^{l+1}_j}{\partial z^{l+1}_j}a^{l}_{j,i}\\
&=&\frac{\partial{J}}{\partial a^{l+1}_j}f^{'}(z^{l+1}_j)a^{l}_{i}
\end{eqnarray*}上式的$\frac{\partial{J}}{\partial a^{l+1}_j}$,也可以通过反向传播的方式求解,其通式$\frac{\partial{J}}{\partial a^{l}_j}(l< p)$求解如下:
\begin{eqnarray*}
\frac{\partial{J}}{\partial {a}^l_{j}}
&=&\sum_{r=1}^{d^{l+1}}\frac{\partial J}{\partial a^{l+1}_r} \frac{\partial a^{l+1}_r}{\partial z^{l+1}_r}\frac{\partial z^{l+1}_r}{\partial a^l_j}\\
&=& \sum_{r=1}^{d^{l+1}} \frac{\partial J}{\partial a^{l+1}_r} \frac{\partial a^{l+1}_r}{\partial z^{l+1}_r}\mathbf{W}^{l}_{r,j}\\
&=& \sum_{r=1}^{d^{l+1}} \frac{\partial J}{\partial a^{l+1}_r} f^{'}(z^{l+1}_r)\mathbf{W}^{l}_{r,j}\\
\end{eqnarray*}\newpage以梯度下降法优化$\mathbf{W}^l_{j,i}$和$\mathbf b^l$,$\eta$是学习速率,公式如下:
\begin{eqnarray*}
\mathbf{W}^l_{j,i} &=& \mathbf{W}^l_{j,i} - \eta \frac{\partial J}{\partial \mathbf{W}^l_{j,i}}\\
\mathbf{b}^l &=& \mathbf{b}^l - \eta \frac{\partial J}{\partial \mathbf{b}^l}\\
\end{eqnarray*}\section{反向传播计算步骤}
步骤如下:1.以极小随机值对$\mathbf W$和$\mathbf b$进行初始化。2.样本$(\mathbf x, \mathbf y)$前向传播计算输出值。3.计算$\frac{\partial J}{\partial a^p_{r}}$,也就是$\frac{\partial J}{\partial a^p_{r}}=-(y_r-a^p_r)$。4.根据上面推导的公式,从后往前计算所有的$\frac{\partial{J}}{\partial a^{l}_j}$。5.根据上面推导的公式,从后往前计算所有的$\frac{\partial{J}}{\partial \mathbf{W}^l_{j,i}}$。6.根据上面推导的公式,从后往前计算所有的$\frac{\partial{J}}{\partial \mathbf{b}^l}$。7.更新所有的$\mathbf W^l_{j,i}$和$\mathbf b^l$。8.重复步骤2至7,直至终止条件达成。\section{推广到多样本和正则化情况}
对样本集而言,考虑正则化,代价函数如下:
\begin{eqnarray*}
\mathbf J(\mathbf{W},\mathbf{b};\mathbf{X}, \mathbf{Y})
&=&\sum_{k=1}^{m}J(\mathbf{W}, \mathbf{b}; \mathbf x_k, \mathbf y_k)+ \frac{\lambda}{2}  \sum_{l=1}^{p-1} \sum_{j=1}^{d^{l+1}} \sum_{i=1}^{d^{l}} (W^l_{j,i})^2\\
\end{eqnarray*}对$W^l_{j,i}$求一阶偏导:
\begin{eqnarray*}
\frac{\mathbf J(\mathbf{W},\mathbf{b};\mathbf{X}, \mathbf{Y})}{\partial W^l_{j,i}} 
&=&\sum_{k=1}^{m}\frac{\partial J_k}{\partial W^l_{j,i}}+ \lambda W^l_{j,i}\\
\end{eqnarray*}从本质上来说,等价于所有样本的一阶偏导之和再加上一个系数。\end{CJK}
\end{document}\grid


这篇关于[deeplearning-005] 一般形式的反向传导算法BP最简推导-3的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1050790

相关文章

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.

golang字符串匹配算法解读

《golang字符串匹配算法解读》文章介绍了字符串匹配算法的原理,特别是Knuth-Morris-Pratt(KMP)算法,该算法通过构建模式串的前缀表来减少匹配时的不必要的字符比较,从而提高效率,在... 目录简介KMP实现代码总结简介字符串匹配算法主要用于在一个较长的文本串中查找一个较短的字符串(称为

通俗易懂的Java常见限流算法具体实现

《通俗易懂的Java常见限流算法具体实现》:本文主要介绍Java常见限流算法具体实现的相关资料,包括漏桶算法、令牌桶算法、Nginx限流和Redis+Lua限流的实现原理和具体步骤,并比较了它们的... 目录一、漏桶算法1.漏桶算法的思想和原理2.具体实现二、令牌桶算法1.令牌桶算法流程:2.具体实现2.1

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例:使用随机森林预测鸢尾花品种4.1

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

康拓展开(hash算法中会用到)

康拓展开是一个全排列到一个自然数的双射(也就是某个全排列与某个自然数一一对应) 公式: X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。(a[i]在不同应用中的含义不同); 典型应用: 计算当前排列在所有由小到大全排列中的顺序,也就是说求当前排列是第

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖