NLP论文阅读记录 - 2022 | WOS 一种新颖的优化的与语言无关的文本摘要技术

本文主要是介绍NLP论文阅读记录 - 2022 | WOS 一种新颖的优化的与语言无关的文本摘要技术,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
  • 0、论文摘要
  • 一、Introduction
    • 1.1目标问题
    • 1.2相关的尝试
    • 1.3本文贡献
  • 二.前提
  • 三.本文方法
  • 四 实验效果
    • 4.1数据集
    • 4.2 对比模型
    • 4.3实施细节
    • 4.4评估指标
    • 4.5 实验结果
      • 4.6 细粒度分析
  • 五 总结
  • 思考


前言

在这里插入图片描述

A Novel Optimized Language-Independent Text Summarization Technique(2204)

0、论文摘要

大量文本数据以多种语言以电子方式呈现。这些文本将齿轮导向信息冗余。消除这种冗余并减少这些数据的读取时间至关重要。因此,我们需要一种计算机化的文本摘要技术来从具有相关主题的文本文档组中提取相关信息。
本文提出了一种与语言无关的提取摘要技术。所提出的技术提出了一种基于聚类的优化技术。聚类技术确定文本的主要主题,而所提出的优化技术则最大限度地减少冗余并最大化重要性。
使用英语的 BillSum 数据集、德语和俄语的 MLSUM 以及阿拉伯语的 Mawdoo3 来设计和评估实验。使用 ROUGE 指标评估实验。结果表明,与其他依赖于语言和独立于语言的摘要技术相比,所提出的技术是有效的。我们的技术为所有使用的数据集实现了更好的 ROUGE 指标。
对于使用所有三个目标的所有数据集,该技术平均实现了 Rouge-1 41.9%、Rouge-2 18.7%、Rouge-3 39.4% 和 Rouge-4 16.8% 的 F 测量。我们的系统还表现出 26.6%、35.5%、34.65% 和 31.54% w.r.t. 的改进。最近的模型在 ROUGE 度量评估方面对 BillSum 的总结做出了贡献。我们的模型的性能高于对比模型,特别是在二元匹配的 ROUGE_2 的度量结果中。

一、Introduction

1.1目标问题

大量不同语言的电子数据增加了从中挖掘有用信息的难度。人们很难阅读如此庞大的文章信息。因此,有必要采用计算机化的摘要技术来推断重要的内容。并迅速突出信息。计算机摘要技术已应用于不同领域,例如网页和在线表格。例如,[1] 中的作者建议使用文本标记提取来改善搜索结果。 [2] 中的作者提出了一种用于媒体分析的文本标记提取方法。与语言无关的摘要提取器是语言分析应用程序。它们的目标是从单个或多文本文档生成较短的文本,同时保持含义。摘要技术可以根据输入、语言、方法或输出进行分类,如图 1 所示[3,4]。可以对单个文本文档或多文本文档的输入进行摘要。在多文本文档摘要中使用一组相关的文本文档。单文本文档源不会显示不一致,但是,在多文本文档源中可能会发现冲突和冗余。因此,多文本文档源摘要比单源文本文档更困难[3-5]。此外,摘要输出可以是非特定的,讨论一个巨大的社区,也可以是基于文本标记的,强调与文本标记相关的特定主题。这对于将该技术分类为指示性过程非常重要[3,4]。
摘要过程也可以定义为提取式,其中摘要输出是通过根据语言特征和统计方面选择主要短语来生成基于加权和的解决方案[3-8]。而摘要依赖于使用自然语言处理技术分析文本语义来生成掌握源文本文档中主要思想的新短语[3,4]。摘要概要更易于理解,类似于人类所做的摘要,但它们需要对源文本有深刻的了解,并且还需要解析器和文本生成器[6,7]。深度学习和迁移学习可以用于抽象概括。深度学习通常可以产生良好的结果。提取摘要利用预定义的特征选择重要的短语。然后组合所选短语以产生摘要输出。在多文本文档中,由于从多个文本文档中挖掘短语,因此出现了冗余问题。在这种情况下必须处理冗余。此外,受限摘要需要选择最佳的摘要输出,而不是杰出的短语。因此,多文本文档摘要将导致全局优化需求[8-10]。

1.2相关的尝试

1.3本文贡献

总之,我们的贡献如下:
1.本文提出了一种与语言无关的提取摘要技术。
2.所提出的技术提出了一种基于聚类的优化技术。
3. 聚类技术确定文本的主要主题,而所提出的优化技术则最大限度地减少冗余并最大化重要性。
4. 针对不同语言设计并评估实验,以证明模型的独立特征。
5. 在英语、德语、俄语和阿拉伯语语言的数据集上进行实验。

二.前提

三.本文方法

四 实验效果

4.1数据集

4.2 对比模型

4.3实施细节

4.4评估指标

4.5 实验结果

4.6 细粒度分析


五 总结

总之,我们将多语言无关的文本摘要过程制定为目标优化过程(同时最大化多个目标)。该模型采用四个阶段:第一阶段是预处理过程,然后进行特征提取和聚类,最后一个阶段是多目标同时优化。通过标记化、停用词去除和规范化等预处理,以统一的形式对句子进行建模。选择统计特征并将其用于每个短语的重要性评分。相关文档的主题是使用质心聚类来定义的。最后一个阶段使用多目标优化进化方法生成最佳摘要,最大化重要性并最小化冗余。结果通过测量 ROUGE 指标验证了我们的模型相对于最先进模型的有效性。我们仍然有一些限制,如下:(i)句子分数是通过实验计算的,可以通过遗传算法计算,以及(ii)我们没有包括输出的一致性,我们可以将其包括到要优化的目标中。

思考

这篇关于NLP论文阅读记录 - 2022 | WOS 一种新颖的优化的与语言无关的文本摘要技术的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/607621

相关文章

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

C 语言中enum枚举的定义和使用小结

《C语言中enum枚举的定义和使用小结》在C语言里,enum(枚举)是一种用户自定义的数据类型,它能够让你创建一组具名的整数常量,下面我会从定义、使用、特性等方面详细介绍enum,感兴趣的朋友一起看... 目录1、引言2、基本定义3、定义枚举变量4、自定义枚举常量的值5、枚举与switch语句结合使用6、枚

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

在Spring Boot中浅尝内存泄漏的实战记录

《在SpringBoot中浅尝内存泄漏的实战记录》本文给大家分享在SpringBoot中浅尝内存泄漏的实战记录,结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录使用静态集合持有对象引用,阻止GC回收关键点:可执行代码:验证:1,运行程序(启动时添加JVM参数限制堆大小):2,访问 htt

C#TextBox设置提示文本方式(SetHintText)

《C#TextBox设置提示文本方式(SetHintText)》:本文主要介绍C#TextBox设置提示文本方式(SetHintText),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录C#TextBox设置提示文本效果展示核心代码总结C#TextBox设置提示文本效果展示核心代

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

Go 语言中的select语句详解及工作原理

《Go语言中的select语句详解及工作原理》在Go语言中,select语句是用于处理多个通道(channel)操作的一种控制结构,它类似于switch语句,本文给大家介绍Go语言中的select语... 目录Go 语言中的 select 是做什么的基本功能语法工作原理示例示例 1:监听多个通道示例 2:带

C语言函数递归实际应用举例详解

《C语言函数递归实际应用举例详解》程序调用自身的编程技巧称为递归,递归做为一种算法在程序设计语言中广泛应用,:本文主要介绍C语言函数递归实际应用举例的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录前言一、递归的概念与思想二、递归的限制条件 三、递归的实际应用举例(一)求 n 的阶乘(二)顺序打印

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版:拆分成模块让模块更强大:使用 __init__.py你一定会遇到的问题模www.