本文主要是介绍VCTP论文精读,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
机器视觉推理自从引入神经符号机制以来取得了巨大进步,这使得机器能够发展出多步骤的推理链。然而,正如早期认知科学家所预示的那样,这种逻辑和符号系统基本上不适合于现实世界、常识知识的表示和推理,因为它们仅依赖于封闭世界的逻辑规则和硬约束。
在人工智能和知识表示领域,封闭世界假设(Closed World Assumption, CWA)是一种逻辑假设,它认为除了明确定义为真的事实外,其他所有事实都被假定为假。这与开放世界假设(Open World Assumption, OWA)相对立,后者认为如果某件事没有被明确证明为真或假,那么它的状态是未知的。
知识型视觉推理要求模型解释图像内容,回忆开放世界知识的相关内容,并执行逐步的逻辑推理以得出答案。
它要求在推理链中交互式地整合视觉上下文、外部知识和自然语言问题。如图1所示,要回答“这个房间叫什么名字?”这个问题,人类首先需要看到房间并提取诸如“框架”、“沙发”和“灯”等视觉概念。然后我们关注与问题语义相关的关键视觉概念,并思考“这是一张咖啡桌”和“有一个带有棕色靠垫的长沙发”以得出答案“客厅”。最后但同样重要的是,人类最终会通过回顾视觉上下文并得出结论“沙发和咖啡桌通常位于客厅”来确认答案是正确的。视觉到语言和语言到视觉的互动可以反复执行,直到我们得出一个令人满意的答案。
文章的研究背景
研究背景
• 视觉感知与语言推理的分离:以往的工作通常将视觉感知和基于语言的推理视为两个独立的模块,没有在整个推理过程中同时关注这两个模块。
• 缺乏逐步推理链:现有方法没有生成类似人类推理过程的逐步推理链,导致模型像一个“黑箱”,难以理解其决策过程。
• 计算成本高昂:一些方法通过对大型视觉-语言数据集进行微调(fine-tuning)来训练模型,这既计算密集又耗时。
• 透明度和可信度问题:由于推理过程不透明,难以验证预测答案的正确性,也难以提供支持每个推理步骤的理由。
• 与外部知识结合的挑战:知识型视觉推理要求模型不仅要理解图像内容,还要能够回忆开放世界知识,并执行逐步逻辑推理以得出答案,这增加了推理的复杂性。
• 性能问题:传统的视觉问答和推理方法在结合视觉上下文、外部知识和自然语言问题时面临性能上的挑战。
下面正式介绍这个框架。该框架用于基于知识的可视化推理,可以理解查询问题,关注图像中的关键视觉概念,检索支持证据,并最终以逐步的方式得出答案。VCTP由三个模块组成:see、think和confirm,以迭代方式运行这些模块。如图2所示。
• See 模块:该模块使用场景解析器(如 Faster-RCNN)检测图像中的所有候选对象(概念),并生成全局描述。主要目的是从图像中提取视觉概念并将其表示为类别标签。
• Think 模块:这个模块由三个步骤组成:Attend(关注)、Describe(描述)和 Predict(预测)。首先,使用提示方法帮助大语言模型(LLM)关注与问题语义相关的关键视觉概念。然后,使用图像描述生成器为这些概念生成区域描述。最后,基于这些视觉上下文和之前的推理结果预测问题的答案。
• Confirm 模块:该模块旨在生成与答案预测一致的支持理由,并验证预测的正确性。它通过要求LLM在预测答案后生成支持理由,并使用跨模态分类器验证这些理由是否与视觉输入一致。
• 迭代推理:VCTP框架通过多次迭代“Think-Confirm”步骤,确保最终生成的答案与视觉和语言信息之间的一致性。每次迭代会将验证通过的理由加入到提示上下文中,直到连续两次迭代的答案一致。
• 优势:
• 效果性:在知识基础的视觉推理数据集上的表现优于其他基准模型,尤其是对比少样本学习基线。
• 透明性和可解释性:VCTP能提供每个推理步骤的理由,使整个推理过程更具透明性。
• 计算效率:相比其他需要大量微调的模型,VCTP更具计算效率。
• 实验验证:在多个知识基础的视觉推理数据集上进行实验,验证了VCTP的性能优势和推理过程的透明度。
这篇关于VCTP论文精读的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!