深度学习论文: XFeat: Accelerated Features for Lightweight Image Matching

本文主要是介绍深度学习论文: XFeat: Accelerated Features for Lightweight Image Matching,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

深度学习论文: XFeat: Accelerated Features for Lightweight Image Matching
XFeat: Accelerated Features for Lightweight Image Matching
PDF: https://arxiv.org/pdf/2404.19174
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

为了降低计算成本并保持竞争性的准确性,本项工作带来了以下三大核心贡献:

(1)提出了一种创新的轻量级卷积神经网络(CNN)架构,这种架构能在资源有限的平台上高效运行,并且适用于要求高吞吐量或计算效率的下游任务。其特点在于无需进行耗时的硬件特定优化。此外,XFeat作为一种灵活的解决方案,能够轻松替换现有的轻量级手工解决方案、昂贵的深度模型以及轻量级深度模型,特别在视觉定位和相机姿态估计等下游任务中展现出显著优势。

(2)设计了一个简洁而可学习的关键点检测分支,该分支不仅速度快,而且特别适用于小型特征提取器骨干网络。通过视觉定位、相机姿态估计和单应性注册等应用场景,我们验证了其高效性和实用性。

(3)还提出了一种独特的匹配细化模块,该模块能够从粗略的半密集匹配中精准地获取像素级偏移。与现有技术相比,XFeat不仅依赖局部描述符本身,而且无需高分辨率特征,从而显著降低了计算成本。
在这里插入图片描述

2 XFeat: Accelerated Features

XFeat提取一个关键点热图K,一个紧凑的64-D密集描述符映射F,和一个可靠性热图R。它通过早期下采样和浅层卷积,然后在后续编码器中进行更深的卷积以实现无与伦比的速度。与典型方法相反,它将关键点检测分离成一个独立的分支,使用1×1的卷积在一个8×8的张量块变换图像上进行快速处理。
在这里插入图片描述

2-1 Featherweight Network Backbone

在卷积神经网络中,为了减少计算成本,一种常见策略是在初始卷积层使用较少的通道数,然后随着层数增加逐步加倍通道数。然而,在局部特征提取任务中,这种策略的效果并不如在低分辨率任务(例如图像分类和目标检测)中那么有效。这是因为在局部特征提取中,网络需要处理更大的图像分辨率,因此这种增加通道数的方法会导致计算瓶颈。
为了解决这个问题,提出了一种新的策略:在初始卷积层尽可能减少通道数,并随着空间分辨率的降低,不是加倍而是增加三倍的通道数,直到达到足够的通道数(如128)。这种策略有效地重新分配了网络的卷积深度,减少了早期层的计算负载,并优化了网络的整体容量。
在这里插入图片描述
网络结构由称为基本层的块组成,每个块包含2D卷积、ReLU激活函数、批量归一化和步长为2的卷积层。backbone包含六个这样的块,按顺序减半分辨率并增加深度:{4, 8, 24, 64, 64, 128},并包含一个融合块以整合多分辨率特征。通过从C=4通道开始,在最终编码器块中增加到C=128通道,实现了在H/32×W/32空间分辨率下的良好的精度和速度平衡。

2-2 Local Feature Extraction

利用骨干网络提取局部特征并执行密集匹配。

Descriptor head: 使用特征金字塔策略,通过连续卷积块逐步降低分辨率,增加感受野,同时合并不同尺度的特征到H/8×W/8×64,然后进行逐元素求和。最后,使用由三个基本层组成的卷积融合块将表示结合成最终的特征表示 F,另外使用一个卷积块来回归可靠性图 R。

Keypoint head: SuperPoint 中使用的策略提供了一种最快的提取像素级关键点的方法。它使用最终编码器中的特征,以原始图像分辨率的1/8,并通过从特征嵌入中对关键点的坐标在展平的8×8网格中进行分类,来提取像素级关键点。XFeat采用了类似于SuperPoint的方法,但引入了一个专门的并行分支来专注于低级图像结构的关键点检测。通过在单个神经网络骨干内联合训练描述符和关键点回归器,显著降低了紧凑型CNN架构的半密集匹配性能。将输入图像表示为一个由8×8像素组成的2D网格,每个网格单元,我们将每个单元重塑为64维特征。这种表示在保持单个单元内的空间粒度的同时,利用快速的1×1卷积来回归关键点坐标。经过四层卷积,我们获得了一个关键点嵌入 K,它编码了单元内关键点分布的logits,并且将关键点分类为64个可能位置之一(训练过程增加一个dustbin用来表示找不到关键点的情况,推理过程中去除dustbin)。

Dense matching: 该模块学习通过仅考虑原始粗糙级别特征中原始空间分辨率的1/8处的最近邻对来预测像素级偏移,从而显着节省内存和计算。

  • 首先,通过根据可靠性分数 R 选择前 K 个图像区域并将其缓存以供将来匹配,从而控制内存和计算占用。
  • 其次,提出了一个简单轻量的多层感知器(MLP)来执行粗到细的匹配,而无需高分辨率特征图,使我们能够在资源受限的环境中进行半密集匹配。
  • 给定两个匹配特征,MLP预测偏移,以在原始分辨率下实现正确的像素级匹配。

在这里插入图片描述
整个流程通过端到端训练,确保在紧凑的嵌入空间内保留细粒度的空间细节,同时优化匹配性能。

3 Experiments

在这里插入图片描述

这篇关于深度学习论文: XFeat: Accelerated Features for Lightweight Image Matching的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/964365

相关文章

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操

五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布

《五大特性引领创新!深度操作系统deepin25Preview预览版发布》今日,深度操作系统正式推出deepin25Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Tr... 深度操作系统今日发布了 deepin 25 Preview,新版本囊括五大特性:磐石系统、全新 DDE、Tree