【论文泛读25】用于极端多标签文本分类的驯服预处理变压器

本文主要是介绍【论文泛读25】用于极端多标签文本分类的驯服预处理变压器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

贴一下汇总贴:论文阅读记录

论文链接:《Taming Pretrained Transformers for Extreme Multi-label Text Classification》

一、摘要

我们考虑极端的多标签文本分类(XMC)问题:给定一个输入文本,从一个大的标签集合中返回最相关的标签。例如,输入文本可以是Amazon.com的产品描述,标签可以是产品类别。XMC是NLP社区中一个重要而又具有挑战性的问题。最近,深度预训练的变压器模型在许多自然语言处理任务上取得了最先进的性能,包括句子分类,尽管标签集很小。然而,由于大输出空间和标签稀疏问题,天真地将深度变换器模型应用于XMC问题会导致次优性能。在本文中,我们提出了X-Transformer,这是第一个针对XMC问题微调深度转换器模型的可扩展方法。所提出的方法在四个XMC基准数据集上实现了新的最先进的结果。

二、结论

在本文中,我们提出了X-Transformer,这是第一个用于微调Deep Transformer模型的可扩展框架,它在四个XMC基准数据集上改进了最先进的XMC方法。我们进一步将X-Transformer应用于现实应用程序product2query预测,显示出对竞争对手Parabel线性模型的显著改进。

三、XMC

极端多标签文本分类
Extreme Multi-label text Classification

给定一个输入文本实例,从一个巨大的标签集合中返回最相关的标签,其中标签的数量可能在数百万或更多。

XMC本质上是一个工业规模的文本分类问题,是机器学习和自然语言处理(NLP)领域最重要和最基本的课题之一。

  • 计算挑战
  • 标签稀疏导致输出空间过大

在这里插入图片描述
ELMo使用一个(双向LSTM)模型对大量未标记的文本数据进行预处理,以获得内容化的单词嵌入。

X-Transformer

提出了X-Transformer,这是一种克服上述问题的新方法,成功地针对XMC问题微调了深层Transformer模型。X-Transformer由语义标签索引组件、深度神经匹配组件和集成排序组件组成。首先,语义标签索引(SLI)通过标签聚类将原始的棘手的XMC问题分解成一组输出空间小得多的可行子问题,这缓解了标签稀疏性问题,如图1右侧所示。第二,深度神经匹配组件为每个SLI诱发的XMC子问题微调变换器模型,导致从输入文本到标签簇集合的更好映射。最后,集成排序组件在来自转换器的实例到集群分配和神经嵌入上被有条件地训练,并且被用来汇集从各种SLI引起的子问题中得到的分数,用于进一步的性能改进。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

代码地址:Github代码

相关工作

  • Sparse Linear Models
  • Deep Learning Approaches
  • BERT
  • Word2vec
  • Keyword recommendation system

这篇关于【论文泛读25】用于极端多标签文本分类的驯服预处理变压器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/286211

相关文章

使用Python实现文本转语音(TTS)并播放音频

《使用Python实现文本转语音(TTS)并播放音频》在开发涉及语音交互或需要语音提示的应用时,文本转语音(TTS)技术是一个非常实用的工具,下面我们来看看如何使用gTTS和playsound库将文本... 目录什么是 gTTS 和 playsound安装依赖库实现步骤 1. 导入库2. 定义文本和语言 3

Python实现常用文本内容提取

《Python实现常用文本内容提取》在日常工作和学习中,我们经常需要从PDF、Word文档中提取文本,本文将介绍如何使用Python编写一个文本内容提取工具,有需要的小伙伴可以参考下... 目录一、引言二、文本内容提取的原理三、文本内容提取的设计四、文本内容提取的实现五、完整代码示例一、引言在日常工作和学

Java实现将Markdown转换为纯文本

《Java实现将Markdown转换为纯文本》这篇文章主要为大家详细介绍了两种在Java中实现Markdown转纯文本的主流方法,文中的示例代码讲解详细,大家可以根据需求选择适合的方案... 目录方法一:使用正则表达式(轻量级方案)方法二:使用 Flexmark-Java 库(专业方案)1. 添加依赖(Ma

Maven pom.xml文件中build,plugin标签的使用小结

《Mavenpom.xml文件中build,plugin标签的使用小结》本文主要介绍了Mavenpom.xml文件中build,plugin标签的使用小结,文中通过示例代码介绍的非常详细,对大家的学... 目录<build> 标签Plugins插件<build> 标签<build> 标签是 pom.XML

HTML5中下拉框<select>标签的属性和样式详解

《HTML5中下拉框<select>标签的属性和样式详解》在HTML5中,下拉框(select标签)作为表单的重要组成部分,为用户提供了一个从预定义选项中选择值的方式,本文将深入探讨select标签的... 在html5中,下拉框(<select>标签)作为表单的重要组成部分,为用户提供了一个从预定义选项中

Linux使用cut进行文本提取的操作方法

《Linux使用cut进行文本提取的操作方法》Linux中的cut命令是一个命令行实用程序,用于从文件或标准输入中提取文本行的部分,本文给大家介绍了Linux使用cut进行文本提取的操作方法,文中有详... 目录简介基础语法常用选项范围选择示例用法-f:字段选择-d:分隔符-c:字符选择-b:字节选择--c

C#使用DeepSeek API实现自然语言处理,文本分类和情感分析

《C#使用DeepSeekAPI实现自然语言处理,文本分类和情感分析》在C#中使用DeepSeekAPI可以实现多种功能,例如自然语言处理、文本分类、情感分析等,本文主要为大家介绍了具体实现步骤,... 目录准备工作文本生成文本分类问答系统代码生成翻译功能文本摘要文本校对图像描述生成总结在C#中使用Deep

五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布

《五大特性引领创新!深度操作系统deepin25Preview预览版发布》今日,深度操作系统正式推出deepin25Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Tr... 深度操作系统今日发布了 deepin 25 Preview,新版本囊括五大特性:磐石系统、全新 DDE、Tree

通过C#获取PDF中指定文本或所有文本的字体信息

《通过C#获取PDF中指定文本或所有文本的字体信息》在设计和出版行业中,字体的选择和使用对最终作品的质量有着重要影响,然而,有时我们可能会遇到包含未知字体的PDF文件,这使得我们无法准确地复制或修改文... 目录引言C# 获取PDF中指定文本的字体信息C# 获取PDF文档中用到的所有字体信息引言在设计和出

Java操作xls替换文本或图片的功能实现

《Java操作xls替换文本或图片的功能实现》这篇文章主要给大家介绍了关于Java操作xls替换文本或图片功能实现的相关资料,文中通过示例代码讲解了文件上传、文件处理和Excel文件生成,需要的朋友可... 目录准备xls模板文件:template.xls准备需要替换的图片和数据功能实现包声明与导入类声明与