【NLP】多语言预训练模型(mBERT和XLM)

2023-11-10 08:20
文章标签 语言 训练 模型 nlp xlm mbert

本文主要是介绍【NLP】多语言预训练模型(mBERT和XLM),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

融合多语言的预训练模型将不同语言符号统一表示在相同的语义向量空间内,从而达到跨语言处理的目的。

多语言BERT (Multilingual BERT, mBERT)

它能够将多种语言表示在相同的语义空间中。
通过HuggingFace提供的transformers库:
使用区分大小写的多语言BERT-base模型(bert-base-multilingual-cased),任务为掩码填充,即将输入的[MASK]填充为具体的标记。

from pprint import pprint
from transformers import pipeline
unmasker = pipeline('fill-mask', model='bert-base-multilingual-cased')
output = unmasker('我like[MASK]')
pprint(output)

在这里插入图片描述

语言自身存在混合使用,共享子词等特点:

  • 混合使用:在一种语言的文本中,经常混有其他语言,尤其是一些同语族语言,甚至共享了一些词汇;即使是不同语族的语言,在使用时也经常会有意无意地直接使用其他语言的词汇(Code-switch)
  • 共享子词:一些同族的语言,虽然使用的词汇有一些差异,但是词根有可能是一样的,因此经过子词切分后,就产生了大量的共享子词。这些共享的词汇或者子词作为桥梁,打通了不用语言之间的壁垒,从而将多种语言都表示在相同的语义空间内。

跨语言预训练语言模型(Cross-lingual Language Model Pretraining, XLM)

XLM采用基于双语句对的 翻译语言模型 (Translation Language Modeling, TLM) 预训练目标,将互为翻译的句子拼接起来,然后在两种语言中随机遮盖若干子词,并通过模型预测。(当一种语言对预测提供的信息不足时,另一种语言可以提供额外的补充信息,从而实现跨语言的目标。
XLM-R(XLM-RoBERTa)模型结构与RoBERTa一致,但不再依赖双语平行语料库。

Huggingface Transformers库

我们可以在模型中心[点击进入]搜索符合任务需求的模型:
在这里插入图片描述

这篇关于【NLP】多语言预训练模型(mBERT和XLM)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/381463

相关文章

Go语言中make和new的区别及说明

《Go语言中make和new的区别及说明》:本文主要介绍Go语言中make和new的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1 概述2 new 函数2.1 功能2.2 语法2.3 初始化案例3 make 函数3.1 功能3.2 语法3.3 初始化

Go语言中nil判断的注意事项(最新推荐)

《Go语言中nil判断的注意事项(最新推荐)》本文给大家介绍Go语言中nil判断的注意事项,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.接口变量的特殊行为2.nil的合法类型3.nil值的实用行为4.自定义类型与nil5.反射判断nil6.函数返回的

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

Go语言代码格式化的技巧分享

《Go语言代码格式化的技巧分享》在Go语言的开发过程中,代码格式化是一个看似细微却至关重要的环节,良好的代码格式化不仅能提升代码的可读性,还能促进团队协作,减少因代码风格差异引发的问题,Go在代码格式... 目录一、Go 语言代码格式化的重要性二、Go 语言代码格式化工具:gofmt 与 go fmt(一)

Go语言中泄漏缓冲区的问题解决

《Go语言中泄漏缓冲区的问题解决》缓冲区是一种常见的数据结构,常被用于在不同的并发单元之间传递数据,然而,若缓冲区使用不当,就可能引发泄漏缓冲区问题,本文就来介绍一下问题的解决,感兴趣的可以了解一下... 目录引言泄漏缓冲区的基本概念代码示例:泄漏缓冲区的产生项目场景:Web 服务器中的请求缓冲场景描述代码

Go语言如何判断两张图片的相似度

《Go语言如何判断两张图片的相似度》这篇文章主要为大家详细介绍了Go语言如何中实现判断两张图片的相似度的两种方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 在介绍技术细节前,我们先来看看图片对比在哪些场景下可以用得到:图片去重:自动删除重复图片,为存储空间"瘦身"。想象你是一个

Go语言中Recover机制的使用

《Go语言中Recover机制的使用》Go语言的recover机制通过defer函数捕获panic,实现异常恢复与程序稳定性,具有一定的参考价值,感兴趣的可以了解一下... 目录引言Recover 的基本概念基本代码示例简单的 Recover 示例嵌套函数中的 Recover项目场景中的应用Web 服务器中

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

Go语言中使用JWT进行身份验证的几种方式

《Go语言中使用JWT进行身份验证的几种方式》本文主要介绍了Go语言中使用JWT进行身份验证的几种方式,包括dgrijalva/jwt-go、golang-jwt/jwt、lestrrat-go/jw... 目录简介1. github.com/dgrijalva/jwt-go安装:使用示例:解释:2. gi