李宏毅机器学习入门笔记——第五节

2024-02-28 22:04

本文主要是介绍李宏毅机器学习入门笔记——第五节,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

类神经网络训练不起来的问题解决方式

标准化

对于 error surface 比较崎岖,难以训练的问题,就是可以使用batch normalization。对于不同的变量维度而言,如果差值比较大的时候,存在将预测的结果变大,导致训练的方向不理想。
对于不同变量的同一纬度使用归一化操作,即是标准化操作。
特征标准化
要注意的是变量的每一个维度代表一个维度。
对于每个神经网络层都可以增加标准化层。其中要注意的是层的前后顺序。
考虑特征共享的问题
当神经网络输入的变量考虑多个输入的时候,对于标准化层,能够通过计算输入的所有变量的标准差和平均值,进行所有的变量进行标准化操作。就是俗称的batch normalization。batch表示就是批量的输入,需要考虑的就是网络的大小。
额外的超参数
使用多两个额外的参数,是network的参数,因为之前的标准化操作,使得对应的输出值平均为0,但是往往希望平均不是0,不影响对应的模型,所以添加这个两个变量,使对应的均值不是0,主要是看模型的训练,可能是均值0,可能不是。
需要考虑对应的另一个问题,因为标准化是batch数量,但是在test过程中,就会存在输入的数量是1个情况。所以test解决方式就是累计计算的过程。通过train的时候计算得出的方差和均值,进行计算。
test中的标准化

transformer (对应的作业5)

transformer就是变形金刚。其实就是一个sequence to sequence的模型。
对于多个输入变为多个输出的过程,例如语音识别文字或则和机器翻译的过程都是不对等的输入输出的模型。
模型例子

大量的应用在自然语言应用上。
模型对应的描述图。

描述图
其中对应的层里面self-attention层的处理有右边所示,其中对应的部分就是encoder部分。encoder所做的部分就是输入的变量输出对应的同等数量的输出,放入decoder。
对于decoder的部分来说有如下。按照语音识别来说,decoder就是对于输入的变量进行查询对应的字典的所有单词的概率。将对应的识别的第一次字再扔入进行识别配合语音encoder的识别,识别第二个,以此类推。
具体两个之间的差别如下,只是decoder中间加上了一个self-attention的部分。
两者之间差别
但是对于这个self-attention不一样的是,他是单向的
在这里插入图片描述
考虑左边的东西,也就是语音识别的单向。具体计算
其中对于字典内部除了对应的所有中文字以外,还应该有begin和end的两个单词,进行训练,进行语音识别工作的开始和结束的标志。

NAT

NAT
在这里插入图片描述
NAT可以进行平行的计算过程,但是对于识别而言永远差于AT。

Transformer

transformer
cross attention运作,就是上图红色框的部分,将encoder和decoder的部分交汇一起,进行训练过程,其中q是输出结果,将q进行扔入再次计算的。
在这里插入图片描述
对于cross attention很早就有了,比transformer更早。
cross attention的变形
不一定要从encoder的第一次进行decoder,可以从多个encoder层上进行计算。

transformer train训练

训练过程
和分类的过程很相似,其实就是通过众多字典的概率不同计算最大最可能的字。
单独进行decoder的训练
对于decoder训练我们可以通过输入真实值进行训练。
对于训练的时候看的是 cross entropy,但是实际测试的时候看的bleu score。
但是在测试的时候,由于是单向计算的问题,就存在前一个结果是错的,影响到后面的结果。所以在训练的时候可以添加一些错误的结果进行噪声训练。

各式各样的attention

前面我们已经讲了self-attention,现在讲一下attention
在这里插入图片描述
注意的是self-attention是一个大型网络的模块,当内部输入参数量很大的时候,主要的计算量就在self-attention
在这里插入图片描述
对于输入参数,存在相邻关联的参数进行注意力机制
在这里插入图片描述
可以使用跨步注意,相关固定步长参数相互关联
在这里插入图片描述
全局attention,定义多个non特殊的注意参数具有共同的特殊参数

在这里插入图片描述
使用的时候,将多种的attention进行关联起来进行模型训练

在这里插入图片描述
这里将相关的attention进行聚类,同一类的进行相关联

在这里插入图片描述
使用nn网络进行key的快速分类
还有就是可以使用key的压缩加速运算
在这里插入图片描述
减少key参数的两种方式如上。
为了减少计算量,通过将self-attention中的步骤进行链式计算,将计算步骤进行合理的排序的矩阵计算
在这里插入图片描述

Non-Autoregressive model

在这里插入图片描述
自回归的模型如上,需要单个一次次迭代输入
在这里插入图片描述
非自回归的模型,可以进行平行计算,快速输出结果

Pointer Network

在这里插入图片描述
寻找关联的点串联起来,将相关的点包含进去

这篇关于李宏毅机器学习入门笔记——第五节的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/756751

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

数论入门整理(updating)

一、gcd lcm 基础中的基础,一般用来处理计算第一步什么的,分数化简之类。 LL gcd(LL a, LL b) { return b ? gcd(b, a % b) : a; } <pre name="code" class="cpp">LL lcm(LL a, LL b){LL c = gcd(a, b);return a / c * b;} 例题:

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

Java 创建图形用户界面(GUI)入门指南(Swing库 JFrame 类)概述

概述 基本概念 Java Swing 的架构 Java Swing 是一个为 Java 设计的 GUI 工具包,是 JAVA 基础类的一部分,基于 Java AWT 构建,提供了一系列轻量级、可定制的图形用户界面(GUI)组件。 与 AWT 相比,Swing 提供了许多比 AWT 更好的屏幕显示元素,更加灵活和可定制,具有更好的跨平台性能。 组件和容器 Java Swing 提供了许多