第十章 循环神经网络RNNLSTM

2024-08-21 10:04
文章标签 神经网络 循环 第十章 rnnlstm

本文主要是介绍第十章 循环神经网络RNNLSTM，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、时间序列表示方法
    • 1.1 pytorch中表示时间序列
  • 二、RNN原理
    • 2.1 使用全连接的情感分析任务情景
    • 2.2 优化模型
    • 2.3 RNN单元结构
    • 2.4 RNN模型实现
  • 三、时间序列预测实战
  • 四、梯度弥散与梯度爆炸
    • 4.1 梯度爆炸
    • 4.2 梯度弥散
  • 五、LSTM
    • 5.1 LSTM结构分析
    • 5.2 LSTM解决梯度弥散
    • 5.3 LSTM的pytorch实现
  • 六、情感分类实战

一、时间序列表示方法

在这里插入图片描述

在这里插入图片描述

  • 使用数值表示序列数据
    在这里插入图片描述

  • 时间序列数据表示
    在这里插入图片描述

  • 图像数据的序列表示
    在这里插入图片描述

  • 文字序列数据表示（词嵌入）
    在这里插入图片描述

  • one-hot由于 ① 稀疏；②高维度等特点，使得很少使用
    经常使用：① word2vec；② glove
    在这里插入图片描述

  • 序列数据中的Batch格式
    在这里插入图片描述

1.1 pytorch中表示时间序列

  • word2vec方式
    ① 首先要保存一个Embedding字典（一般在网络上下载）
    ② 对每个输入单词使用index索引在Embedding字典中找到一个向量表示
    在这里插入图片描述

  • GloVe
    是NLP领域已知的一个字典，可以直接得到单词对应的向量
    在这里插入图片描述

二、RNN原理

2.1 使用全连接的情感分析任务情景

在这里插入图片描述

  • 缺陷：
    ① 在长句输入模型中，参数量很大
    ② 文字前后没有联系
    在这里插入图片描述

2.2 优化模型

  • 第一步：共享权重（减少学习的权重参数量）
    在这里插入图片描述

  • 第二步：持续记忆（使序列前后存在联系）
    使用 h i h_i hi​ 单元充当 “语境记忆单元” ，当前序列计算均与前面的 “语境记忆单元” 有关，从而保证各序列之间存在联系
    在这里插入图片描述

2.3 RNN单元结构

  • 折叠的单元结构
    在这里插入图片描述

  • 展开的单元结构
    在这里插入图片描述

  • RNN的公式表示
    在这里插入图片描述

在这里插入图片描述

2.4 RNN模型实现

在这里插入图片描述

  • pytorch实现
    在这里插入图片描述

① rnn = nn.RNN(input_size,hidden_size,num_layer)
a) input_size：输入序列值的向量维度 feature_len
b) hidden_size：隐藏（语境记忆）单元的维度 hidden_len
c) num_layer：设置RNN上下连接的层数，默认为1
在这里插入图片描述

② out, h t h_t ht​ = rnn(x,h0)
a) x：表示输入序列数据 [seq len,b,word vec]，RNN时间序列步个数等于seq len
b) h0：表示起始记忆单元 h i h_i hi​的初始值 [num layer,b,h dim]
c) h t h_t ht​：表示最后一个序列步(t)上每一层的 h t h_t ht​ 的表示
d) out：表示最后一层中每个时间序列步计算得到的 h t h_t ht​的表示
在这里插入图片描述

  • 单层RNN实现
    在这里插入图片描述

  • 多层RNN
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • pytorch的另一种实现方式
    构建单个时间步的结构，手动的连接各时间步
    在这里插入图片描述

在这里插入图片描述

① 一层RNN
在这里插入图片描述

② 二层RNN
在这里插入图片描述

三、时间序列预测实战

预测正弦波的下一输出范围
在这里插入图片描述

  • 创建用于训练的样本数据
    在这里插入图片描述

  • 网络结构
    在这里插入图片描述

  • 训练过程
    在这里插入图片描述

  • 预测过程
    在这里插入图片描述

四、梯度弥散与梯度爆炸

在这里插入图片描述

4.1 梯度爆炸

由于反向传播式中包含， W R k W^k_R WRk​项。
1）当 W R W_R WR​大于1时，梯度将指数级增长。loss 会突然变大
2）当 W R W_R WR​小于1时，梯度将趋近于0。loss 会几乎不变
在这里插入图片描述

  • 解决梯度爆炸的方法
    在这里插入图片描述

  • pytorch实现解决梯度爆炸的方法
    使用 torch.nn.utils.clip_grad_norm_(param，threshold)
    ① param：指定要限制梯度下降的参数
    ② threshold：指定梯度下降值的阈值
    在这里插入图片描述

4.2 梯度弥散

在这里插入图片描述

  • 使用LSTM解决梯度弥散问题
    在这里插入图片描述

五、LSTM

① 标准的RNN结构中，使用的 h i h_i hi​ 是短时记忆（只能较好的接收相邻近的时间步输出值），对长时间序列信息不能很好的获知
② LSTM实现了长短时记忆功能
在这里插入图片描述

5.1 LSTM结构分析

  • 标准RNN的结构图
    在这里插入图片描述

  • LSTM的RNN单元结构
    主要原理是：设计了三个门控开关（遗忘门、输入门、输出门）
    ① 遗忘门控制传入的前面所有时间步的记忆信息
    ② 输入门控制结合前一时间步输出与当前时间步的输入的数据
    ③ 输出门控制当前时间步的输出数据
    门控开关均由sigmoid函数实现
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 抽象LSTM的结构
    在这里插入图片描述

在这里插入图片描述

5.2 LSTM解决梯度弥散

将标准RNN中 W R W_R WR​指数项变为，多个 W W W相加，一定程度上减少了梯度弥散
在这里插入图片描述

5.3 LSTM的pytorch实现

① lstm_rnn = nn.LSTM(input_size,hidden_size,num_layer)
a) input_size：输入序列值的向量维度 feature_len
b) hidden_size：隐藏（语境记忆）单元的维度 hidden_len (此处包含了LSTM中的 C C C 与 h h h)
c) num_layers：设置RNN上下连接的层数，默认为1
在这里插入图片描述

② out, h t h_t ht​, c t c_t ct​ = lstm_rnn(x,h0)
a) x：表示输入序列数据 [seq len,b,word vec]，RNN时间序列步个数等于seq len
b) h0：表示起始记忆单元 h i h_i hi​的初始值 [num layer,b,h dim]
c) h t h_t ht​：表示最后一个序列步(t)上每一层的 h t h_t ht​ 的表示
d) c t c_t ct​：表示最后一个序列步(t)上每一层的 c t c_t ct​ 的表示
d) out：表示最后一层中每个时间序列步计算得到的 h t h_t ht​的表示
在这里插入图片描述

注：传入的是初始状态的 c t 0 c_{t0} ct0​与 h t 0 h_{t0} ht0​

  • pytorch实现
    在这里插入图片描述

  • pytorch对LSTM的另一种实现
    在这里插入图片描述

在这里插入图片描述

① 一层LSTM的实现
在这里插入图片描述

② 二层LSTM的实现
在这里插入图片描述

六、情感分类实战

在这里插入图片描述

在这里插入图片描述

  • 使用goolge的实验平台
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

注：① 若RNN中使用双向的LSTM，则输入与输出的 h h h 和 c c c 中num_layer会乘以2
② output中hid_dim会乘以2

  • 初始化词嵌入字典
    在这里插入图片描述

  • 训练过程
    在这里插入图片描述

  • 测试过程
    在这里插入图片描述

这篇关于第十章 循环神经网络RNNLSTM的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1092844。

相关文章

好题——hdu2522（小数问题：求1/n的第一个循环节）

好题——hdu2522（小数问题：求1/n的第一个循环节）

好喜欢这题，第一次做小数问题，一开始真心没思路，然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数，不能写作两整数之比*****************************（一开始没想到，小学没学好） 此题1/n肯定是一个有限循环小数，了解这些后就能做此题了。 按照除法的机制，用一个函数表示出来就可以了，代码如下
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
poj3750约瑟夫环，循环队列

poj3750约瑟夫环，循环队列

Description 有N个小孩围成一圈，给他们从1开始依次编号，现指定从第W个开始报数，报到第S个时，该小孩出列，然后从下一个小孩开始报数，仍是报到S个出列，如此重复下去，直到所有的小孩都出列（总人数不足S个时将循环报数），求小孩出列的顺序。 Input 第一行输入小孩的人数N（N<=64） 接下来每行输入一个小孩的名字(人名不超过15个字符) 最后一行输入W,S (W < N)，用
阅读更多...
校验码：奇偶校验，CRC循环冗余校验，海明校验码

校验码：奇偶校验，CRC循环冗余校验，海明校验码

文章目录 奇偶校验码CRC循环冗余校验码海明校验码 奇偶校验码 码距：任何一种编码都由许多码字构成，任意两个码字之间最少变化的二进制位数就称为数据检验码的码距。 奇偶校验码的编码方法是：由若干位有效信息(如一个字节)，再加上一个二进制位(校验位)组成校验码。 奇校验：整个校验码中1的个数为奇数 偶校验：整个校验码中1的个数为偶数 奇偶校验，可检测1位（奇数位）的错误，不可纠错。
阅读更多...
机器学习之监督学习（三）神经网络

机器学习之监督学习（三）神经网络

机器学习之监督学习（三）神经网络基础 0. 文章传送1. 深度学习 Deep Learning深度学习的关键特点深度学习VS传统机器学习 2. 生物神经网络 Biological Neural Network3. 神经网络模型基本结构模块一：TensorFlow搭建神经网络 4. 反向传播梯度下降 Back Propagation Gradient Descent模块二：激活函数 activ
阅读更多...
react笔记 8-17 属性绑定 class绑定 引入图片 循环遍历

react笔记 8-17 属性绑定 class绑定 引入图片 循环遍历

1、绑定属性 constructor(){super()this.state={name:"张三",title:'我是一个title'}}render() {return (<div><div>aaaaaaa{this.state.name}<div title={this.state.title}>我是一个title</div></div></div>)} 绑定属性直接使用花括号{}   注
阅读更多...
第十章 【后端】环境准备（10.4）——Vagrant

第十章 【后端】环境准备（10.4）——Vagrant

10.4 Vagrant Vagrant 官网 Vagrant 镜像仓库 下载 安装 直接 install。 设置环境变量 Vagrant 默认将镜像保存在用户文件夹的 .vagrant.d 目录下，若用户文件夹在C盘，下载的镜像文件会大量占用C盘空间。设置环境变量 VAGRANT_HOME 后，Vagrant 会将镜像保存到环境变量指定的文件夹下。
阅读更多...
Spring是如何解决循环依赖？

Spring是如何解决循环依赖？

现象解释： 在Spring框架中，循环依赖（Circular Dependency）是指两个或多个Bean之间相互依赖，形成了一个循环。例如，Bean A依赖于Bean B，而Bean B又依赖于Bean A。Spring通过多种机制解决循环依赖问题，具体来说，主要有以下几种方式： 1.三级缓存机制 Spring容器在实例化Bean时使用了三级缓存来解决循环依赖，主要涉及三个缓存结构： 一级
阅读更多...
图神经网络框架DGL实现Graph Attention Network (GAT)笔记

图神经网络框架DGL实现Graph Attention Network (GAT)笔记

参考列表： [1]深入理解图注意力机制 [2]DGL官方学习教程一 ——基础操作&消息传递 [3]Cora数据集介绍+python读取 一、DGL实现GAT分类机器学习论文 程序摘自[1]，该程序实现了利用图神经网络框架——DGL，实现图注意网络（GAT）。应用demo为对机器学习论文数据集——Cora，对论文所属类别进行分类。（下图摘自[3]） 1. 程序 Ubuntu：18.04
阅读更多...
Python计算机视觉编程 第十章

Python计算机视觉编程 第十章

目录 一、OpenCv基础知识 1.读取和写入图像 2.颜色空间 3.显示图像和结果 二、处理视频 1.输入视频 2.将视频读取到NumPy数组中 三、跟踪 1.光流 2.Lucas-Kanade算法 一、OpenCv基础知识 OpenCV 自带读取、写入图像函数以及矩阵操作和数学库。 1.读取和写入图像 import cv2# 读取图像im = c
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2