HaLo-NeRF:利用视觉和语言模型对场景的精准定位和细粒度语义理解

本文主要是介绍HaLo-NeRF:利用视觉和语言模型对场景的精准定位和细粒度语义理解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

包含大量摄影师拍摄的照片的互联网图像集有望实现对大型旅游地标的数字探索。然而,先前的工作主要集中在几何重建和可视化上,忽略了语言在为导航和细粒度理解提供语义界面方面的关键作用。

项目:HaLo-NeRF: Learning Geometry-Guided Semantics for Exploring Unconstrained Photo Collections

更多消息:
AI人工智能行业动态,aigc应用领域资讯

在受限的 3D 领域中,最近的方法利用视觉和语言模型作为 2D 视觉语义的强大先验。虽然这些模型表现出对广泛视觉语义的出色理解,但由于缺乏建筑领域的专业知识,它们难以处理描绘此类旅游地标的不受约束的照片集。在这项工作中,他们提出了一个定位系统,通过利用 SOTA 视觉和语言模型的力量以及理解地标场景语义的适应性,将描绘大规模地标的场景的神经表示与描述场景内语义区域的文本连接起来。为了用细粒度的知识支持此类模型,他们利用包含相似地标图像以及弱相关文本信息的大规模互联网数据。

他们的方法建立在这样的前提之上:物理上基于空间的图像可以为本地化新概念提供强大的监督信号,其语义可以通过大型语言模型从互联网文本元数据中解锁。他们使用场景视图之间的对应关系来引导对这些语义的空间理解,为最终提升为体积场景表示的 3D 兼容分割提供指导。 他们的结果表明,HaLo-NeRF 可以准确定位与建筑地标相关的各种语义概念,超越了其他 3D 模型以及强大的 2D 分割基线的结果。

实现方法

他们的目标是对互联网照片集捕获的地标场景执行文本驱动的神经 3D 定位。换句话说,给定这组图像和描述场景中语义概念的文本提示,他们想知道HaLo-NeRF在 3D 空间中的位置。这些图像是在野外拍摄的,这意味着它们可能是在不同季节、一天中的时间、视角和距地标的距离拍摄的,并且可能包括短暂的遮挡。

HaLo-NeRF为了在 3D 空间中定位独特的建筑特征地标,他们利用强大的现代基础模型进行视觉和文本理解。尽管在一般多模态理解方面取得了进展,但现代 VLM 仍难以在建筑地标上定位细粒度的语义概念,正如他们在结果中广泛展示的那样。建筑领域使用专门的词汇,术语在一般用法中很少见。

为了解决这些挑战,他们设计了一个三阶段系统:(a)他们使用大型语言模型(LLM)从嘈杂的互联网图像元数据中提取语义伪标签。 (b) 他们使用这些伪标签和场景视图之间的对应关系来学习图像级和像素级语义。特别是,他们使用多视图监督微调图像分割模型(CLIPSegFT),其中放大视图及其相关的伪标签(例如与术语“鼓室”相关的左侧图像)提供监督信号用于缩小视图。 (c) 然后,他们提升这种语义理解,以学习新的、看不见的地标(例如右侧描绘的圣保罗大教堂)的体积概率,从而允许使用受控的视点和照明设置渲染分段场景的视图。

此外,他们还显示了下面的可视化效果,将 HaLo-NeRF(左)与 Baseline 模型(右)进行比较,后者使用 CLIPSeg 模型而不进行微调。两个视频都显示了相同的 RGB 渲染时间序列,仅在所描述的概率上有所不同(取自他们的模型或基线)。请注意,一旦放大,他们就会关闭两个模型的概率,以便更好地查看目标语义区域。每个视频上方都写有目标文本提示,右侧是地标名称。如下图所示,他们的模型产生了明显更清晰的概率,可以更好地定位语义区域,特别是对于建筑地标领域之外不太常见的独特概念。他们还以多种外观可视化放大区域(对于他们的模型,保持基线模型的外观固定)。主论文中说明了来自 HolyScenes 基准的其他提示和地标的结果。

这项技术有几个重要的用途:

  1. 导航和定位:通过这项技术,用户可以更精确地找到地标场景中的特定区域或对象。这对于旅游导航、城市规划或者虚拟现实(VR)体验中的定位都非常重要。
  2. 增强现实(AR)和虚拟现实(VR)应用:通过提供详细的3D定位和语义信息,这项技术可以为AR和VR应用提供更加丰富和真实的场景渲染。用户可以在虚拟环境中更自然地与地标进行交互,获得更加沉浸式的体验。
  3. 文化遗产保护和展示:对于历史建筑和文化遗产,这项技术可以用于创建数字模型,进行保护和展示。通过精确的定位和语义理解,可以还原建筑的原始风貌,为学者和游客提供更加深入的了解和体验。
  4. 智能图像检索:用户可以通过输入文本描述来检索与特定地标相关的图像,或者找到图像中特定语义区域的详细信息。
  5. 自动化地标识别:这项技术可以应用于自动驾驶车辆、无人机或其他机器人设备,帮助它们更好地识别和理解地标场景,从而实现更精准的导航和任务执行。

这篇关于HaLo-NeRF:利用视觉和语言模型对场景的精准定位和细粒度语义理解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/948712

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整

Java中&和&&以及|和||的区别、应用场景和代码示例

《Java中&和&&以及|和||的区别、应用场景和代码示例》:本文主要介绍Java中的逻辑运算符&、&&、|和||的区别,包括它们在布尔和整数类型上的应用,文中通过代码介绍的非常详细,需要的朋友可... 目录前言1. & 和 &&代码示例2. | 和 ||代码示例3. 为什么要使用 & 和 | 而不是总是使

Java中Runnable和Callable的区别和联系及使用场景

《Java中Runnable和Callable的区别和联系及使用场景》Java多线程有两个重要的接口,Runnable和Callable,分别提供一个run方法和call方法,二者是有较大差异的,本文... 目录一、Runnable使用场景二、Callable的使用场景三、关于Future和FutureTa

C语言字符函数和字符串函数示例详解

《C语言字符函数和字符串函数示例详解》本文详细介绍了C语言中字符分类函数、字符转换函数及字符串操作函数的使用方法,并通过示例代码展示了如何实现这些功能,通过这些内容,读者可以深入理解并掌握C语言中的字... 目录一、字符分类函数二、字符转换函数三、strlen的使用和模拟实现3.1strlen函数3.2st

Go语言中最便捷的http请求包resty的使用详解

《Go语言中最便捷的http请求包resty的使用详解》go语言虽然自身就有net/http包,但是说实话用起来没那么好用,resty包是go语言中一个非常受欢迎的http请求处理包,下面我们一起来学... 目录安装一、一个简单的get二、带查询参数三、设置请求头、body四、设置表单数据五、处理响应六、超