自然语言处理:第四十三章 视觉RAG:变革传统深度学习模型开发流程,开创下一代多模态视觉模型的新时代

本文主要是介绍自然语言处理:第四十三章 视觉RAG:变革传统深度学习模型开发流程,开创下一代多模态视觉模型的新时代,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章链接:微信公众平台 (qq.com)



写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!!

写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!!

写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!!

图片

我们相信视觉领域即将发生范式转变,从而产生计算机视觉管道 2.0,其中一些传统阶段(例如标记)将被可提示的基础模型所取代。

本文深入剖析了Visual RAG(Visual Retrieval-Augmented Generation)的创新领域,揭示了它的核心价值以及它如何根本性地转变了我们对传统计算机视觉任务的处理方式。文章将从RAG的基本概念出发,深入探讨其在视觉识别、图像分析和智能监控等应用中的实践,阐释这项前沿技术如何为构建更智能、更高效的人工智能系统奠定基石。

1. 什么是检索增强生成(RAG)?

1.1 什么是视觉提示?

为了更好地理解检索增强生成 (RAG) [1],我们首先来了解“提示”的定义。

提示是一种通过提供特定指令或查询来指导基础模型 (例如多模式大型语言模型(MLLM))执行任务的技术。

在视觉领域,视觉提示[3] 使用视觉输入(例如图像、线条或点)来指示大规模视觉模型执行特定任务,通常包括模型未明确训练的任务。

下图展示了如何将可提示模型用来创建更强大的系统,其中的关键见解是模型可以通过视觉提示连接:YOLO-World 输出可以用作 SegmentAnything 的视觉提示。

图片

因此,事实证明,提示为建立 RAG 等更先进的技术提供了基础。

1.2 什么是RAG?

RAG 将提示与信息检索的原理结合起来 。[2] 当你使用 GenAI 模型(例如 GPT-4 或 LLaVA [5])时,你获得的答案来自(零样本)模型 [4],该模型受到其信息截止值(或其自身的训练数据,无论是数量还是质量)的限制。因此,模型的知识是静态的,在某个点之后不会更新。

检索增强生成 (RAG)使系统能够检索相关上下文,然后将其与原始提示相结合。此增强提示用于查询模型,提供模型原本无法获得的数据。

1.3 了解 RAG 的工作原理

通过下图可以看到经分解后,典型的 RAG 工作流程:

  1. 检索:当给出查询或提示时,系统首先从知识库或外部数据源检索相关信息。
  2. 增强:然后使用检索到的信息来增强或改进模型的输入。
  3. 生成:最后,模型根据原始查询和检索到的信息生成响应。

图片

2. RAG 如何在计算机视觉中使用?

2.1 传统(文本)RAG 与 可视化 RAG

如下图所示,Visual RAG 将检索增强生成 (RAG) 的概念应用于视觉任务。传统的 RAG 处理文本输入并检索相关文本信息,而 Visual RAG 则处理图像(有时还附带文本),并检索视觉数据或图像-文本对。

编码过程从文本编码器转变为视觉编码器(有时使用诸如 CLIP [6] 的基础模型来实现此目的),并且知识库(即矢量数据库)成为视觉信息而非文本文档的存储库。

图片

图 3. 语言模型的 RAG 与视觉模型的 RAG 比较

最后,Visual RAG 的增强功能将检索到的视觉数据与输入相结合,使其能够生成包括文本描述、修改后的图像或多模式内容在内的多种输出。Visual RAG 对于需要将视觉理解与外部知识相结合的任务特别强大。例如,它可以通过从知识库中检索这些边缘情况的相关视觉和文本信息来帮助视觉系统识别稀有物体。

2.2 视觉 RAG 或微调

图片

图 4. 何时使用 RAG 而不是微调

在生产中构建视觉系统时,一个常见的问题是在 RAG 和微调之间做出选择 [7]。根据经验,RAG 是一种理想的入门策略。之后,如果模型的任务变得太狭窄或太具体,那么下一步可能是进行微调。但如图 4 所示,答案不是二元的,而是取决于许多因素,例如:

  • 预算:微调涉及重新训练模型,这更加昂贵。
  • 推理: RAG 在推理过程中需要更多的计算。
  • 时间:由于权重已更新,微调在开始时需要投入更多的时间,但从长远来看可能会减少时间投入。

对于某些用例,可以结合使用这两种方法:

  1. 具有核心任务的不断发展的领域:例如,在医学成像领域,有标准的诊断程序(通过微调处理),但也有快速发展的研究和新的案例研究(由 Visual RAG 处理)。
  2. 电子商务和产品识别:微调模型可以识别产品类别,而 Visual RAG 可以从动态库存中检索最新的产品信息或类似物品
  3. 内容审核系统:微调可以处理常见的违规类型,而 Visual RAG 可以适应新兴趋势或与上下文相关的违规行为。

3. 多模态 RAG

3.1 用于视频理解的多模态视觉 RAG

用于视频理解的多模态 Visual RAG 管道的具体实现(如图 5 所示)。此示例演示了这些技术如何协同工作以从视频数据中提取有意义的见解。

图片

图 5. Visual RAG 应用于视频理解系统

来分解一下系统组件及其相互作用:

    1. 知识库:系统从包含视频和图像的知识库开始。这是理解视觉内容的基础。
    1. 嵌入模型:使用嵌入模型(例如 CLIP(对比语言-图像预训练))将知识库内容和用户查询转换为公共向量空间。这允许对不同模态(文本和视觉数据)进行比较。
    1. 向量数据库:知识库的嵌入表示存储在向量数据库中,从而实现高效的相似性搜索。
    1. 用户查询:用户输入查询,例如“查找下午 5 点之前停放的白色车辆”。
    1. 查询处理:用户的查询经过嵌入模型,转换为与知识库内容相同的向量空间。
    1. 检索和排序:系统根据查询嵌入和存储嵌入之间的相似性从向量数据库中检索相关信息。然后对结果进行排序以找到最相关的匹配。
    1. 增强:检索到的信息经过快速处理或增强,以完善上下文并为语言视觉模型做好准备。
    1. LLaVA 微调: LLaVA(大型语言和视觉助手)的微调版本处理增强信息。LLaVA 是一种能够理解文本和视觉输入的多模态模型。
    1. 推理: LLaVA 模型对处理后的数据进行推理,以生成解决用户查询的响应。
    1. 响应:最终输出是一个视觉响应——在本例中,是一张显示一辆停在街道上的白色汽车的图像,这与用户的查询相匹配。

4. 下一步处理

虽然上述的系统为视频理解提供了一个令人印象深刻的框架,但实际上,上图描述的是一个原型。对于生产级 Visual RAG 系统,为了成功部署,应该考虑一些事项:

  1. 可扩展性:系统必须能够有效地处理大量视频数据和并发用户查询。
  2. 错误处理和边缘情况:管道应该能够很好地管理视觉内容模糊或查询不清楚的情况。

5. 参考文献

[1] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
[2] Large Language Models for Information Retrieval: A Survey
[3] Exploring Visual Prompts for Adapting Large-Scale Models
[4] An embarrassingly simple approach to zero-shot learning
[5] Visual Instruction Tuning
[6] Learning Transferable Visual Models From Natural Language Supervision
[7] Fine-tuning Language Models for Factuality
[8] Written by The Tenyks Blogger

这篇关于自然语言处理:第四十三章 视觉RAG:变革传统深度学习模型开发流程,开创下一代多模态视觉模型的新时代的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1130083

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

Security OAuth2 单点登录流程

单点登录(英语:Single sign-on,缩写为 SSO),又译为单一签入,一种对于许多相互关连,但是又是各自独立的软件系统,提供访问控制的属性。当拥有这项属性时,当用户登录时,就可以获取所有系统的访问权限,不用对每个单一系统都逐一登录。这项功能通常是以轻型目录访问协议(LDAP)来实现,在服务器上会将用户信息存储到LDAP数据库中。相同的,单一注销(single sign-off)就是指

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;