本文主要是介绍考验AI对代词的理解力,解读艾伦AI研究所公布的数据集“QUOREF”,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
图片出处:DeepMind
人们在写作时,经常会用到 “他、她、它” 之类的代词,指代前文中出现的某个实体。段落和文章越长,代词出现的频率就越高。
这个现象在非结构化语言中广泛存在。有时候,一句话中甚至可能会出现好几个 “它”,分别指代不同的实体。
对于人类而言,只要稍加练习,就可以凭借对上下文和句子的理解找出代词的映射对象。然而对于人工智能(AI)模型来说,这个任务就十分困难了,因为它很难联系上下文,尤其是跨度较长的文章。
反过来说,能否准确搜索、追踪、分析代词与实体之间的关联,对于 AI 能否准确理解文本内容至关重要。
这种能力又被称为共指消解(Conference Resolution),是自然语言处理(NLP)领域的重要研究课题,指的是通过追踪长句、段落、文章中的代词,找到其对应的指代对象或内容。
虽然目前有很多体量庞大的众包数据集,但它们主要考察模型理解局部语义及谓词参数结构上,涉及共指消解的问题很少见。从考察阅读能力的角度看,这些数据缺少了关键的模型评估维度。
针对这一问题,艾伦 AI 研究所的研究团队最近公布了一个新的众包数据集,名为 QUOREF,里面包含超过 2400 个广度选择问题,旨在专门考察模型的共指消解能力。想要回答问题,模型需要分析来自维基百科的 4700 个英文段落,从中找到各个实体的指代对象。
QUOREF 的构建</
这篇关于考验AI对代词的理解力,解读艾伦AI研究所公布的数据集“QUOREF”的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!