深度学习笔记1:RNN神经网络及实现

2024-06-01 04:18

本文主要是介绍深度学习笔记1:RNN神经网络及实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

首先贴出一张一般的神经网络应该有的结构图:
在这里插入图片描述
输入层是数据输入层,隐层是模型训练的权重,输出层是经过激活函数后得出的特征。
在深度学习这个领域之中,既然我们已经有了比较完善的人工神经网络和卷积神经网络,那为什么还要用循环神经网络呢?我们知道,一张图片中,各个像素点之间是没有逻辑关系的,我们输入一张图片,无论是在左上角开始输入还是在右下角输入,最终得到的结果分类都是一样的,这也就说明图像之间没有存在必然的逻辑关系。
而且输入输出也是独立的,比如输入两张图片,一张是猫,一张是狗。

但是在我们的现实世界中,有些方面各个元素之间还是有练习的,比如股票的变化,是随着时间的变化而变化的;再比如说自然语言处理当中:“我爱自然语言处理,所以我要学习 ______”;这里填空,我们自然而言的是填写“自然语言处理”了;

这是我们人根据上下文的内容推测出来的;但是这个对于机器而言,要做到这点还是有相当难度的;所以这就要求我们人设计一个网络,使得机器也想人一样能够根据上下文的内容推测下一个输出内容,所以循环神经网络(Recurrent Neural Network,简称RNN)就这样被设计出来,他的本质上就是:像人一样拥有记忆的能力。因此,他的输出依赖当时的输入和记忆。

下图是循环神经网络的经典结构图

在这里插入图片描述

原则上,我们看左边这个结构就可以了,它也非常形象的说明了循环的含义,右边是展开形式,帮我们理解各个时间点输入时候,该网络是如何工作的。例如这句话“我爱自然语言处理”分为四段‘我’、‘爱’、‘自然语言’、‘处理’, x t − 1 x_{t-1} xt1=‘我’、 x t x_{t} xt=‘爱’、 x t + 1 x_{t+1} xt+1=‘自然语言’;那么 o t − 1 o_{t-1} ot1=‘爱’、 o t o_{t} ot=‘自然语言’,那么如果要预测下一个输出 o t + 1 o_{t+1} ot+1是多次呢?通过我们的RNN模型,最大的可能是 o t + 1 o_{t+1} ot+1=‘处理’。当然,具体训练的时候,最终会将文本转换为词向量的。那么根据上述的的映射关系 o = f ( x ) o=f(x) o=f(x)就是根据上图所示。
根据上图: o t = g ( V s t ) o_{t}=g(\mathbf{V}s_{t}) ot=g(Vst)
s t = f ( U x t + W s t − 1 ) s_{t}=f(\mathbf{U}x_{t}+\mathbf{W}s_{t-1}) st=f(Uxt+Wst1)
所以: o t = g ( V f ( U x t + W s t − 1 ) ) o_{t}=g(\mathbf{V}f(\mathbf{U}x_{t}+\mathbf{W}s_{t-1})) ot=g(Vf(Uxt+Wst1))
将s的状态不断迭代就可以得到最终的o和x的映射函数
当加上偏置时,一样的,将带入其中:

o t = g ( V s t + b o ) o_{t}=g(\mathbf{V}s_{t}+b_{o}) ot=g(Vst+bo)
s t = f ( U x t + W s t − 1 + b s ) s_{t}=f(\mathbf{U}x_{t}+\mathbf{W}s_{t-1}+b_{s}) st=f(Uxt+Wst1+bs)

一般我们将f函数记为 f ( z ) = t a n h ( z ) f(z)=tanh(z) f(z)=tanh(z),g函数记为 g ( z ) = s o f t m a x ( z ) g(z)=softmax(z) g(z)=softmax(z) 整个循环神经网络的过程就是在不同时刻输入
图中,U、W、V 都可以看作是权重矩阵,而且在整个到RNN训练过程中都是共享的,也就是说,我们的RNN就是训练这三个权重矩阵而已,相对CNN而言,其训练参数少了非常多了。输入值 x t x_{t} xt在乘于U之后得到 U x t Ux_{t} Uxt,在加上上一时刻的W得到我们的状态 S t S_{t} St,而 V S t VS_{t} VSt在经过激活函数之后得到我们在t时刻的输出 O t O_{t} Ot,下面展示了一个循环神经网络前向传播的过程。
在这里插入图片描述
在上图中,假设状态的维度为2,输入、输出的维度都为1,而且全连接层中的权重为:
W r n n = [ 0.1 0.2 0.3 0.4 0.5 0.6 ] W_{rnn}=\begin{bmatrix}0.1 & 0.2\\ 0.3& 0.4\\ 0.5&0.6\end{bmatrix} Wrnn=0.10.30.50.20.40.6
其偏置量的大小为 b r n n = [ 0.1 , − 0.1 ] b_{rnn}=[0.1,-0.1] brnn=[0.1,0.1]
用于输出的全连接层的权重:
W o u t p u t = [ 1.0 2.0 ] W_{output}=\begin{bmatrix} 1.0 \\ 2.0 \end{bmatrix} Woutput=[1.02.0]
其偏置量的大小为 b o u t p u t = 0.1 b_{output}=0.1 boutput=0.1
那么当在时刻 t 0 t_{0} t0时,作为第一次输入,所以状态state的初始化为 h i n i t = [ 0 , 0 ] h_{init}=[0,0] hinit=[0,0],且当前的输入为1,所以通过拼接向量为 [ 0 , 0 , 1 ] [0,0,1] [0,0,1],通过循环体中全连接的神经网络得到:
t a n h ( [ 0 , 0 , 1 ] ∗ [ 0.1 0.2 0.3 0.4 0.5 0.6 ] + [ 0.1 , − 0.1 ] ) = t a n h ( [ 0.6 , 0.5 ] ) = [ 0.537 , 0.462 ] tanh([0,0,1]*\begin{bmatrix} 0.1 & 0.2\\ 0.3 & 0.4\\ 0.5& 0.6 \end{bmatrix}+[0.1,-0.1])=tanh([0.6,0.5])=[0.537,0.462] tanh([0,0,1]0.10.30.50.20.40.6+[0.1,0.1])=tanh([0.6,0.5])=[0.537,0.462]
这个结果将作为下一刻的输入状态,同时循环神经网络也会使用该状态生成输出:
[ 0.537 , 0.462 ] ∗ [ 1.0 2.0 ] + 0.1 = 1.56 [0.537,0.462]*\begin{bmatrix} 1.0\\ 2.0 \end{bmatrix}+0.1=1.56 [0.537,0.462][1.02.0]+0.1=1.56
依次,可以在下一刻根据上一刻得到的状态继续计算。以下代码为实现过程

#encoding:utf-8
import numpy as npX=[1,2]
state=[0,0]
#分开定义不同输入部分的权重以方便操作
w_cell_state=np.asarray([[0.1,0.2],[0.3,0.4]])
w_cell_input=np.asarray([0.5,0.6])
b_well=np.asarray([0.1,-0.1])#定义用于输出的全连接层参数w_output=np.asarray([[1.0],[2.0]])
b_output=0.1for i in range(len(X)):before_activation=np.dot(state,w_cell_state)+X[i]*w_cell_input+b_wellstate=np.tanh(before_activation)final_output=np.dot(state,w_output)+b_outputprint "before_activation=",before_activationprint "state=",stateprint "final_output=",final_output

这篇关于深度学习笔记1:RNN神经网络及实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1019958

相关文章

mybatis执行insert返回id实现详解

《mybatis执行insert返回id实现详解》MyBatis插入操作默认返回受影响行数,需通过useGeneratedKeys+keyProperty或selectKey获取主键ID,确保主键为自... 目录 两种方式获取自增 ID:1. ​​useGeneratedKeys+keyProperty(推

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

c++ 类成员变量默认初始值的实现

《c++类成员变量默认初始值的实现》本文主要介绍了c++类成员变量默认初始值,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录C++类成员变量初始化c++类的变量的初始化在C++中,如果使用类成员变量时未给定其初始值,那么它将被

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合