有待挖掘的金矿:大模型的幻觉之境

2024-06-08 01:44

本文主要是介绍有待挖掘的金矿:大模型的幻觉之境,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

      人工智能正在迅速变得无处不在,在科学和学术研究中,自回归的大型语言模型(LLM)走在了前列。自从LLM的概念被整合到自然语言处理(NLP)的讨论中以来,LLM中的幻觉现象一直被广泛视为一个显著的社会危害和一个关键的瓶颈,阻碍了LLM在现实世界中的应用。无论是在流行且全面的学术调查中,还是在面向公众的技术报告中,都将幻觉问题定位为LLM的主要伦理和安全陷阱之一,应该与其他问题(如偏见和毒性)一起得到严重缓解。因此,将幻觉减少到可以忽略不计的水平的承诺,不仅被视为一个技术挑战,也是更广泛使命的关键组成部分,以减轻与LLM的广泛部署和广泛采用相关的社会污名和系统风险。

     然而,一小部分工作提出了一种观点,即幻觉并非本质上有害。这种探索性的观点强调了幻觉的潜在价值和合理必要性。最近的研究表明,幻觉是统计上的必然,并且由于创造性、生成性和信息准确性之间的权衡,从LLM中消除幻觉是不可能的。此外,在许多特定领域的应用中,实现创造性和事实性之间的优化平衡,比仅仅试图消除幻觉更能有效地最大化LLM的效用。幻觉可能特别有价值的LLM用例包括发现新型蛋白质、为创意写作提供灵感以及制定创新的法律类比。

    在本文中,我们试图扩大幻觉的概念,并认为幻觉更接近于“虚构”这一概念,这一术语已经在关于AI的公共话语中获得了流行,但尚未在学术文献中广泛传播。

1 “虚构”(confabulation)VS“幻觉”(hallucination)

"Confabulation" 和 "hallucination" 都是从精神病学借用过来的人化类比,但"confabulation"因避免了暗示LLMs具有感官体验或意识的棘手含义,且更中性,因此在AI公共话语中被视为"hallucination"的首选替代词

1.1 现有定义的局限性

现有的定义主要关注伪造与事实不符的特征,忽略了其在人类交流中的社会和认知效益。

这些定义没有充分考虑人类在填补知识空白时,倾向于使用叙事作为认知资源的倾向。

1.2 新的定义

伪造是一种叙事冲动,即生成更具实质性、更连贯的输出的倾向。这种冲动体现了人类利用叙事进行理解和交流的倾向。

伪造可以产生虚构但可信的信息,帮助人们填补知识空白,并构建连贯的语义意义。

2 数据、方法和结果

2.1 基准数据集

FaithDial:一个无幻觉的对话基准,介于寻求信息的用户和聊天机器人之间,改编自“维基百科巫师”。Mechanical Turk注释器将WoW的人类生成响应标记为“幻觉”或真实响应。真实响应被细分为三个类别:“蕴含”(Entailment)、“不合作”(Uncooperative)和“通用”(Generic),并对21445个原始响应进行了忠实且基于知识的编辑。

BEGIN是对FaithDial进行的初步研究,旨在选择一个现有的基准进行后续的大规模注释和编辑。作为一个较小的专家策划集,它包括信息寻求查询以及人类编写和模型生成(GPT-2、DoHA和CRTL)的响应,每种响应都使用与FaithDial略有不同的幻觉分类法进行标记(增加了“部分幻觉”作为标签),由专家注释器完成。我们采用BEGIN作为对我们在HaluEval上发现的叙事模式的模型和数据集的一致性和鲁棒性的验证,以确认不同数据集和模型之间叙事模式的一致性和鲁棒性。

HaluEval是一个全面的数据集,展示了合理但幻觉的ChatGPT生成与其真相对应物。与FaithDial和BEGIN更细粒度的幻觉标签不同,HaluEval只区分幻觉和真相响应。我们只使用HaluEval的对话部分,包含10000个样本,以保持与其他基准的领域一致性。

对于FaithDial和BEGIN数据集,我们将所有不包含“幻觉”标签的输出视为“真相”,并将所有包含“幻觉”标签以及一个额外真实标签的输出视为“部分”幻觉/真相。这种聚合允许跨数据集进行更直接的比较。如下所示:虚构文本表现出更高水平的叙事性,因此可以被视为一种叙事丰富的行为。

2.2 方法

  • 叙事性评估: 使用微调后的 ELECTRA-large 模型,对幻觉文本和真实文本进行叙事性评估,并比较两组文本的叙事性得分。
  • 叙事性与幻觉标签的相关性分析: 使用二元逻辑回归模型,分析叙事性得分与幻觉标签之间的预测关系,以确定叙事性是否可以预测幻觉标签。
  • 叙事性与连贯性的相关性分析: 使用贝塔回归模型,分析叙事性得分与对话连贯性得分之间的相关性,以确定叙事性是否与连贯性相关。

2.3 结果

  • 叙事性: 在所有三个基准数据集中,幻觉文本的叙事性得分都显著高于部分幻觉文本和非幻觉文本,以及它们的真实回复
  • 叙事性与幻觉标签: 叙事性得分可以显著预测幻觉标签,即叙事性越高的文本,更有可能被标注为幻觉。
  • 叙事性与连贯性: 叙事性得分与对话连贯性得分之间存在显著正相关关系,即叙事性越高的文本,对话的连贯性也越高。

3 虚构价值有待挖掘

我们认为,虚构的叙事丰富特性不应被视为缺陷,而是LLM与人类使用叙事作为说服、身份构建和社会协商多功能工具的既定倾向相一致的标志。反过来,规范观点对虚构的不加思索的否定将冒着从LLM的能力中消除对沟通和意义构建至关重要的行为和认知能力的风险。虚构价值有待进一步挖掘:

  • 叙事性增强: 伪造的输出往往具有更高的叙事性,即内容更加连贯和有故事性。这与人类倾向于使用叙事来理解和沟通的方式相似,因此可能更易于理解和接受。
  • 启发式工具: 伪造的输出可以作为启发式工具,帮助人们探索特定领域的场景,并利用伪造的特性进行创造性思维。
  • 对抗样本: 伪造的输出可以用于构建对抗样本,帮助提高模型的鲁棒性和可靠性。
  • 合成训练数据: 伪造的输出可以作为合成训练数据,用于增强模型的泛化能力。

4 未来研究方向

我们提出对LLM虚构现象作为潜在资源的系统性辩护,而不是一个绝对的负面陷阱。我们认为,认为LLM产生幻觉是因为它们不可靠、不忠实,最终不像人类的观点过于简化。相反,它们虚构并表现出与人类讲故事冲动非常相似的叙事丰富行为模式——也许幻觉使它们比我们愿意承认的更像我们

  • 因果关系未明确:尽管研究发现叙述性与连贯性之间存在关联,但研究并未断言叙述性直接驱动连贯性,这需要更全面的方法来阐明。
  • 跨学科视角的支持:当前结论得到了跨学科视角的支持,但需要更健壮的叙事建模方法和更全面的人类评估来进一步探讨这一关联。
  • 人类-AI交互的验证:研究中观察到的叙述性和连贯性特征在人类-人类交流中被认为是有益的,但这些特性在人类-AI交互中的适用性需要通过基于人类的评估来验证。
  • 后续实验计划:计划通过包含人类参与者的实验来验证叙事参与的益处,并探索虚构在不同领域的应用潜力。
  • 跨领域应用探索:如果叙事丰富的虚构得到有效验证,将为未来研究开辟新途径,包括在新闻、广告等领域的应用,并可能激发更多跨学科的探索。

这篇关于有待挖掘的金矿:大模型的幻觉之境的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040901

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

线性因子模型 - 独立分量分析(ICA)篇

序言 线性因子模型是数据分析与机器学习中的一类重要模型,它们通过引入潜变量( latent variables \text{latent variables} latent variables)来更好地表征数据。其中,独立分量分析( ICA \text{ICA} ICA)作为线性因子模型的一种,以其独特的视角和广泛的应用领域而备受关注。 ICA \text{ICA} ICA旨在将观察到的复杂信号