ALBERT: 自监督语言表示的轻量级BERT

2023-12-25 05:08

本文主要是介绍ALBERT: 自监督语言表示的轻量级BERT,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 引言
    • 词向量因式分解(Factorized embedding parameterization)
    • 跨层参数共享(Cross-layer parameter sharing)
    • 内部句子一致性损失(Inter-sentence coherence loss)

【Reference】
ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS


引言

预训练模型使得一些缺乏训练数据的下游任务表现良好,大力出奇迹,大型网络是获得SOTA性能的关键,但随着模型大小的增加,内存占用和训练时间都会增加。那么是否有比大型模型更简单、性能更好的模型?

ALBERT使用两种缩减参数技术:词向量矩阵分解、跨层参数共享。参数缩减可看做为正则化技术,并未严重降低模型性能,提升了模型泛化能力。与BERT-Large模型使用一样的配置,参数量下降18x,速度提升1.7x

ALBERT引入句序预测自监督方法,关注句子内部的一致性,我们通过实验比较了句序预测(Sentence-Order Prediction,SOP)任务和预测下一句是否被交换(Next Sentence Prediction,NSP)任务损失的变化,发现SOP任务更具有挑战,而且SOP预训练的模型在下游任务中更有用。

与BERT结构类似,ALBERT使用Transformer Encoder和GELU非线性激活函数,相比BERT模型的性能如下:

在这里插入图片描述

词向量因式分解(Factorized embedding parameterization)

在BERT与其改进模型XLNet和RoBERTa中,词嵌入维度 E E E和隐藏层维度 H H H相等。词嵌入旨在学习语境无关表示,而隐藏层旨在学习语境相关表示。因此,为更有效里面全部模型参数,我们希望能够解开 E E E H H H绑定,使得 H ≫ E H\gg E HE
通常情况下,模型输入词典大小 V V V很大,如果 E ≡ V E\equiv V EV,当我们需要增加 H H H的大小时,意味着也要增加 E E E的大小,模型参数将会剧增。因此,我们通过将词嵌入矩阵因式分解为两个小矩阵,当 H ≫ E H\gg E HE时,参数量明显降低:
O ( V × H ) → O ( V × E + E × H ) O(V\times H)\quad \to\quad O(V\times E + E\times H) O(V×H)O(V×E+E×H)

在这里插入图片描述

跨层参数共享(Cross-layer parameter sharing)

有多重参数方式,如共享FFN参数、共享注意力层参数等,ALBERT默认共享所有跨层参数。
在这里插入图片描述

内部句子一致性损失(Inter-sentence coherence loss)

BERT的NSP任务用于提高下游如自然语言推理任务,我们猜想NSP主要无效的原因是,NSP任务倾向于主题预测,相比MLM(Mask Language Modeling)任务过于简单。ALBERT使用SOP任务预测句序,以避免进行主题预测,SOP任务使用同一上下文的两个连续句子作为正例,跌倒顺序的句子作为负例,这有助于模型学习细粒度特性。
在这里插入图片描述

这篇关于ALBERT: 自监督语言表示的轻量级BERT的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/534343

相关文章

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整

Pytorch微调BERT实现命名实体识别

《Pytorch微调BERT实现命名实体识别》命名实体识别(NER)是自然语言处理(NLP)中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种NLP任务中显著... 目录环境准备加载预训练BERT模型准备数据集标记与对齐微调 BERT最后总结环境准备在继续之前,确

C语言字符函数和字符串函数示例详解

《C语言字符函数和字符串函数示例详解》本文详细介绍了C语言中字符分类函数、字符转换函数及字符串操作函数的使用方法,并通过示例代码展示了如何实现这些功能,通过这些内容,读者可以深入理解并掌握C语言中的字... 目录一、字符分类函数二、字符转换函数三、strlen的使用和模拟实现3.1strlen函数3.2st

Go语言中最便捷的http请求包resty的使用详解

《Go语言中最便捷的http请求包resty的使用详解》go语言虽然自身就有net/http包,但是说实话用起来没那么好用,resty包是go语言中一个非常受欢迎的http请求处理包,下面我们一起来学... 目录安装一、一个简单的get二、带查询参数三、设置请求头、body四、设置表单数据五、处理响应六、超

C语言中的浮点数存储详解

《C语言中的浮点数存储详解》:本文主要介绍C语言中的浮点数存储详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、首先明确一个概念2、接下来,讲解C语言中浮点型数存储的规则2.1、可以将上述公式分为两部分来看2.2、问:十进制小数0.5该如何存储?2.3 浮点

基于Python实现多语言朗读与单词选择测验

《基于Python实现多语言朗读与单词选择测验》在数字化教育日益普及的今天,开发一款能够支持多语言朗读和单词选择测验的程序,对于语言学习者来说无疑是一个巨大的福音,下面我们就来用Python实现一个这... 目录一、项目概述二、环境准备三、实现朗读功能四、实现单词选择测验五、创建图形用户界面六、运行程序七、

使用Go语言开发一个命令行文件管理工具

《使用Go语言开发一个命令行文件管理工具》这篇文章主要为大家详细介绍了如何使用Go语言开发一款命令行文件管理工具,支持批量重命名,删除,创建,移动文件,需要的小伙伴可以了解下... 目录一、工具功能一览二、核心代码解析1. 主程序结构2. 批量重命名3. 批量删除4. 创建文件/目录5. 批量移动三、如何安