2024年1月18日Arxiv最热NLP大模型论文:Large Language Models Are Neurosymbolic Reasoners

本文主要是介绍2024年1月18日Arxiv最热NLP大模型论文:Large Language Models Are Neurosymbolic Reasoners,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大语言模型化身符号逻辑大师,AAAI 2024见证文本游戏新纪元

引言:文本游戏中的符号推理挑战

在人工智能的众多应用场景中,符号推理能力的重要性不言而喻。符号推理涉及对符号和逻辑规则的理解与应用,这对于处理现实世界中的符号性质问题至关重要。本文探讨了大型语言模型(LLMs)在符号推理中的潜在应用,特别是在文本游戏这一具有挑战性的领域。文本游戏是测试自然语言能力的重要基准,尤其是在数学、地图阅读、排序以及应用常识等符号任务中。我们提出了一种设计用于应对符号挑战并实现游戏目标的LLM代理。通过初始化LLM代理并告知其角色,代理接收来自文本游戏的观察结果和一组有效动作,以及特定的符号模块。有了这些输入,LLM代理选择一个动作并与游戏环境互动。我们的实验结果表明,我们的方法显著提高了LLM作为自动化符号推理代理的能力,在涉及符号任务的文本游戏中,我们的LLM代理的平均表现达到了88%。

声明:本期论文解读非人类撰写,全文由赛博马良「AI论文解读达人」智能体自主完成,经人工审核后发布。

智能体传送门:赛博马良-AI论文解读达人

神奇口令: 小瑶读者 (前100位有效)

论文标题、机构、论文链接

论文标题:

Large Language Models Are Neurosymbolic Reasoners

机构:

University of Liverpool, United Kingdom; Eindhoven University of Technology, Netherlands; University of Technology Sydney, Australia; University College London, United Kingdom

论文链接:
https://arxiv.org/pdf/2401.09334.pdf

大语言模型(LLMs)作为符号推理器的潜力探索

1. 文本游戏作为自然语言能力的重要基准

文本游戏已成为评估自然语言处理能力的重要基准,尤其是在需要数学、地图阅读、排序和应用常识等符号任务的文本世界中。这些游戏要求代理(agent)使用语言来解释各种情境并做出决策。文本游戏的复杂性源于对语言理解、常识、管理具有组合复杂性的动作空间以及长期记忆和规划的重要性。例如,代理可能需要解决数学问题的同时收集特定数量的水果,所需数量即为数学问题的答案。

2. 符号模块在文本游戏中的关键作用

在复杂的文本游戏中,使用符号模块或外部工具进行算术、导航、排序和知识库查找对于语言代理尤为关键。这些符号模块在游戏中的作用不可或缺,例如,当代理面对数学问题时,可以利用计算器这样的外部工具来解决问题。符号模块在其功能上非常熟练,使用这些工具本身就被视为一个动作。

LLM智能体的设计与初始化

1. 角色初始化与任务描述

我们提出了一个LLM代理,它被设计为在零样本(zero-shot)方式下,通过外部符号模块来执行文本游戏中的符号任务。在游戏开始时,我们通过初始化提示来告知LLM代理其角色,并提供任务描述和一系列有效动作。这些动作对于与文本游戏环境互动或调用符号模块是必要的。代理被指示从有效动作集中选择动作,例如阅读地图、获取特定位置的路径和回忆任务。此外,代理被建议利用外部符号模块,并在任务执行过程中避免不必要的动作。

2. 有效动作集的构建与提示机制

在每个时间步骤,我们通过当前观察、库存状态、有效动作集和问题提示LLM代理。库存状态描述了代理在环境中获得的物品,例如在数学任务中可能包括一个数学问题,在MapReader任务中可能包括一张地图。LLM代理的任务是从有效动作集中选择一个动作以继续任务。值得注意的是,LLM代理不允许拒绝或提供任何超出规定响应的文本。我们还限制了符号模块提供的有效动作数量。

此外,开发适当的提示以根据表3中提供的信息有效限制代理的动作至关重要。代理无法仅通过与环境的互动来获取知识并推断出规则。在所有任务中,通常有一个特定的事件顺序,即首先获取对象,然后将其放置在指定位置。这种策略是为了防止在获取对象之前就将其放置的情况发生,这在给定的上下文中将被视为不可接受。

符号模块的应用与作用

1. 计算模块、排序模块、知识库模块和导航模块

在文本游戏中,符号模块是提升大型语言模型(LLMs)推理能力的关键工具。这些模块包括计算模块、排序模块、知识库模块和导航模块,它们各自针对特定的符号任务而设计。例如,计算模块能够执行基本的数学运算,排序模块能够根据数量对物品进行排序,知识库模块能够查询与常识相关的信息,而导航模块则能够提供地理位置信息和路径规划。

在一个具体的游戏场景中,LLM智能体可能需要解决一个数学问题,并根据答案收集特定数量的水果。在这种情况下,智能体可以利用计算模块来解决数学问题,并据此决定接下来的动作。这些符号模块不仅提供了游戏状态的当前观察结果,还允许智能体通过选择适当的动作与游戏环境或符号模块进行交互。

2. 符号模块与LLM智能体的交互流程

LLM智能体与符号模块的交互流程涉及多个阶段。首先,智能体通过角色初始化提示得知其角色和任务描述,并了解可采取的动作及其限制。在接收到来自文本游戏环境的观察结果后,智能体需要利用其符号推理能力从有效动作列表中选择一个动作。如果所选动作涉及符号模块,则该模块将提供下一个观察结果;否则,文本游戏环境将提供后续的观察结果。

智能体在每个时间步骤都会收到当前的游戏状态信息,包括玩家的观察结果、库存状态、有效动作集合以及奖励。智能体必须从有效动作集合中选择一个动作来继续任务,并且不允许拒绝或提供超出预定响应的文本。此外,通过限制智能体的动作,可以有效地引导其根据提供的信息进行合理的动作选择。

实验设置与评估框架

1. 文本游戏环境与任务描述

实验中使用的文本游戏环境可以被形式化为部分可观察的马尔可夫决策过程(POMDPs)。游戏包括四种不同的符号任务:算术、地图阅读、排序和文本世界常识(TWC)。每个任务都配备了相应的符号模块,以帮助智能体成功完成任务。

2. 使用GPT-3.5-turbo的LLM智能体

在实验中,我们使用了GPT-3.5-turbo作为LLM智能体,它可以与游戏环境和符号模块进行交互。智能体的任务描述和符号模块的调用示例在文中提供。评估包括四种涉及符号任务的文本游戏,每个任务都分为“训练”、“开发”和“测试”集合。所有评估都在“测试”集上进行。

评估指标基于两个因素:游戏结束时获得的平均分数,以及单个游戏中所采取的平均步骤数。实验结果表明,LLM智能体在执行符号推理任务方面表现出色,平均性能达到88%。此外,与其他基线模型相比,LLM智能体在使用符号模块时表现出更好的平均准确率。

实验结果与分析

1. LLM智能体与基线模型的性能比较

在我们的实验中,LLM智能体与两个基线模型——深度强化相关网络(DRRN)和基于T5的行为克隆变换器(Behavior Cloned Transformer)进行了比较。DRRN模型基于Q学习的概念,选择预期Q值最高的候选动作作为下一步动作,而行为克隆变换器采用模仿学习方法,将强化学习视为序列到序列的问题,预测基于一系列先前观察到的动作序列的后续动作。

实验结果显示,当LLM智能体结合符号模块使用时,其平均性能优于其他基线方法。尽管与具有符号模块的行为克隆变换器相比,LLM智能体的性能略低,但它在与游戏环境交互方面表现出了相似的能力。此外,与行为克隆变换器模型不同,LLM智能体不需要大量专家数据的广泛训练,因此节省了大量的训练资源。

2. 约束提示对性能的影响

我们进一步探讨了约束提示对LLM智能体性能的影响。通过对比使用和不使用约束提示的模型性能,我们发现当LLM智能体使用表3中概述的约束提示时,其在所有任务中的性能都有所提高。此外,与游戏环境交互所需的平均步数也有所减少。这表明我们的约束提示在这些任务中是有效的。实验结果还显示,使用GPT-4的LLM智能体在“测试”集上的表现也得到了验证。

讨论:LLM智能体的推理能力与外部模块的整合

我们的研究结果表明,通过整合外部符号模块,LLM智能体能够提高平均准确率,并超越其他基线。这种能力是通过利用训练数据中存在的底层模式来实现的。与依赖符号思维或显式规则不同,这种方法通过识别模式和关联来获取知识,这些模式和关联来自于它在训练阶段接触的大量文本语料库,如GPT-3.5和GPT-4所示。尽管LLM智能体能够连接到特定任务的符号模块,但它仍然存在不确定性,并且容易犯错。

我们的研究证明了LLM在复杂的基于文本的游戏中涉及符号任务的有效应用。通过使用提示方法,我们指导LLM智能体在这些游戏中有效地与符号模块交互。我们的方法利用LLM显示出比其他基准更优越的性能,突出了LLM在提高基于文本游戏训练程序方面的潜力。因此,可以认为大型语言模型可以被视为具有执行符号推理的重要潜力的神经符号推理器。

未来的工作需要将模型的应用扩展到更复杂的领域,超越简单的基于文本的游戏。为了应对多样化场景的复杂性,整合更复杂的符号模块将是必要的,从而促进更有效的问题解决方法。

结论与未来展望

1. LLM在文本游戏中的应用与挑战

在本文中,我们探讨了大型语言模型(LLM)在文本游戏中作为符号推理者的潜力。通过实验,我们的LLM代理在执行包含符号任务的文本游戏中表现出色,平均性能达到了88%。这些游戏被形式化定义为部分可观察的马尔可夫决策过程(POMDPs),其中代理必须处理符号模块生成的有效动作集,以及游戏环境本身的动作集。LLM代理通过提示机制,结合外部符号模块,有效地选择并执行动作,展现了其作为神经符号推理者的潜力。

尽管LLM在文本游戏中的应用取得了一定的成功,但仍存在挑战。例如,LLM代理在与符号模块的交互中仍然表现出不确定性,并可能犯错。此外,代理在理解游戏环境的底层规则方面也存在困难,需要通过精心设计的提示来引导其行动。这些挑战表明,尽管LLM在符号推理任务中具有潜力,但要实现更高的准确性和可靠性,仍需进一步的研究和开发。

2. 提高LLM智能体性能的可能途径

为了提高LLM智能体在文本游戏中的性能,我们可以探索以下几个可能的途径:

  • 增强提示策略:通过进一步优化提示策略,可以更有效地引导LLM代理进行符号推理。例如,在排序任务中,提前提供关键信息可以帮助代理更准确地执行任务。
  • 改进符号模块:集成更复杂的符号模块可以帮助LLM代理处理更多样化的场景,从而提高其解决问题的能力。
  • 扩展应用领域:将LLM代理的应用扩展到更复杂的领域,如超越简单的文本游戏,可以推动模型在更广泛的任务中的应用。
  • 自我反馈与迭代改进:允许LLM代理通过自我反馈和迭代改进来细化其生成的文本,可能会提高其决策质量。
  • 利用更先进的LLM版本:随着LLM技术的不断进步,使用更新版本的LLM(如GPT-4)可能会带来性能上的提升。

未来的研究应当考虑这些途径,以克服当前的限制,并进一步提高LLM在文本游戏中的性能。通过这些努力,我们可以期待LLM在符号推理任务中发挥更大的作用,为人工智能领域带来更多的可能性。

声明:本期论文解读非人类撰写,全文由赛博马良「AI论文解读达人」智能体自主完成,经人工审核后发布。

智能体传送门:赛博马良-AI论文解读达人

神奇口令: 小瑶读者 (前100位有效)

这篇关于2024年1月18日Arxiv最热NLP大模型论文:Large Language Models Are Neurosymbolic Reasoners的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/621701

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题

题库来源:安全生产模拟考试一点通公众号小程序 2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题是由安全生产模拟考试一点通提供,流动式起重机司机证模拟考试题库是根据流动式起重机司机最新版教材,流动式起重机司机大纲整理而成(含2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题参考答案和部分工种参考解析),掌握本资料和学校方法,考试容易。流动式起重机司机考试技

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

高效录音转文字:2024年四大工具精选!

在快节奏的工作生活中,能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候,一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具! 365在线转文字 直达链接:https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具,它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件,只

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学