Parallax-tolerant Image Stitching - 解决大视差图片拼接的方法

2023-11-05 08:50

本文主要是介绍Parallax-tolerant Image Stitching - 解决大视差图片拼接的方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Paper name

Parallax-tolerant Image Stitching

Paper Reading Note

URL: http://web.cecs.pdx.edu/~fliu/papers/cvpr2014-stitching.pdf

TL;DR

  • 该篇文章作为13年EG的seam-driven stitching的改进版,作者提出新的发现是基于seam-driven的方式在一定程度上不需要两张待拼接图片被完全对齐,某些关键part被对齐后基于seam-driven的方式也可以获取视觉观感很好的拼接图片。于是作者提出了新的对齐效果评估方式、similarity transformation与content-preserving warping进一步提升对大视差场景的拼接效果

Introduction

  • 现有的seam cuting和blending方法难以解决由于视差较大、场景景深差异大影响的拼接图像严重不对齐问题
  • spatially-varying warping算法相比于使用单个homography可以更好解决视差问题,但是在极大视差下依然不work,如下图所示的hard case,第一张待拼接图中的水平几何关系是卡车->烟筒->树,但是第二张待拼接图中的水平几何关系是卡车->树->烟筒,在这种情况下待拼接图像需要被折叠后才能与另一张图像进行对齐,这对于warping方式来说是很难的
    在这里插入图片描述
  • 作者认为在图像拼接任务中并不需要完全使overlap区域的像素点完全对齐,而只需要在待拼接图像的overlap区域中找到一个局部区域使得两张图片能够较好拼接起来,作者成这种方式为local stitching

Dataset/Algorithm/Model/Experiment Detail

实现方式
  • 作者认为实现较好的拼接效果需要同时考虑到Homography与content-preserving warping,Homography可以保持图像全局几何信息但是难以解决视差问题;content-preserving warping可以更好解决视差问题,但无法较好保持图像几何关系
  • 但是在大视差场景下,使用一个较好对齐的Homography与局部区域的对齐质量是两个有冲突的目标,作者提出了一种粗对齐然后基于content-preserving warping方式来改善对齐效果
1. 对齐模型选择
  • 两种流行的对齐方案
    • 全局的2D变换,通常称为Homography
    • spatially-varying warping,比如content-preserving warping
  • 作者结合这两个方法来进行图像对齐,首先选择一个种子特征点,逐渐增加种子特征点周围的特征点来拟合一个2D的变换,作者使用一个较大的拟合阈值来尽量包含周围更多的特征点,这虽然会使得两图的特征点无法完全对齐,但是后续的content-preserving warping方法会一定程度修复这个问题
2. 对齐质量评估
  • 一种直接的拼接质量评估方法是首先使用homography对待拼接图像进行warp操作,然后实施content-preserving warping,通过对比warp后的图片与参考图片来评估图片是否良好拼接,但是该方法速度较慢,因为每次评估都需要进行content-preserving warping这样的耗时操作
  • 作者提出了一种评估对齐质量的方式:
    • 对输入的待拼接图片进行边缘信息提取(Canny边缘检测方法),低通滤波用于容忍较小的不对齐现象
    • 计算warp图片与ref图片的边缘差异能量图,基于Graphcut算法搜索出一条最优拼缝,graphcut实施的具体方式是将overlap区域的边缘差异能量图的每个像素都作为一个图节点,然后基于以下边缘损失搜索最优的拼缝:
    • 在这里插入图片描述
  • 最优Homography搜索
    • 一些homography会达到seamless的拼接,但是会引起图片中部分part严重变形的情况,通过检测perspective distortion来确定选出来的由部分特征点拟合的H与全局最优的H的差别,找到与全局最优的H最拟合的单应变换矩阵
      在这里插入图片描述
3. 对齐算法细节

在这里插入图片描述

  • 作者所提出的整套拼接算法细节:
  1. 检测并匹配SIFT特征,生成edge maps;
  2. 随机选取一个特征点,然后组合近邻的特征点搜索出一个最佳的homography,对于已经被选取过的特征点会增加惩罚项使得之后的选取过程中不容易被重复选取;
  3. 评估基于步骤2得到的最佳的homography的拼接效果,如果符合预先设定质量评估阈值,则进行步骤4,否者返回步骤二重新选择最佳的homography,实在搜索不到符合阈值的情况就选择一个上述重复进行第二步所得到的最佳homography;
  4. 基于上述得到的最佳homography进行初步对齐,然后使用基于特征点指导的content-preserving warping来进行精对齐
  • content-preserving warping的细节
    • 仅使用content-preserving warping一般无法很好对齐所有的overlap区域,所以content-preserving warping一般用于在初对齐步骤后进行精对齐
    • content-preserving warping的主要是将整图warping问题转换为mesh warping问题,mesh warping被定义为一个优化问题,目标是将初对齐的结果进一步对齐到ref图片上,用于避免可察觉的抖动,作者定义了Local alignment term,Global alignment term,Smoothness term作为优化目标:
      在这里插入图片描述
实验结果
  • 与经典的Photoshop, AutoStitch, as-projective-as-possible stitching(APAP)等方法比起来对大视差场景有更好的效果
    在这里插入图片描述
    在这里插入图片描述

Thoughts

  • 作者提出了一种新的对齐方式来解决大视差问题,除非视差很大并且overlap区域中都是salient目标时,一般都能较好完成拼接
  • 该方法提出的最优homography搜索以及content-preserving warping两个步骤就需要消耗cpu20-40s的处理时间,在实时拼接上的应用价值还有待探索

这篇关于Parallax-tolerant Image Stitching - 解决大视差图片拼接的方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/348717

相关文章

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短

浅谈主机加固,六种有效的主机加固方法

在数字化时代,数据的价值不言而喻,但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露,企业的数据安全面临着前所未有的挑战。为了应对这些挑战,一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案,采用先进的安全容器中间件技术,构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限,即使在管理员权限被恶意利用的情况下,也能确保服务器的安全稳定运行。 普适主机加固措施:

webm怎么转换成mp4?这几种方法超多人在用!

webm怎么转换成mp4?WebM作为一种新兴的视频编码格式,近年来逐渐进入大众视野,其背后承载着诸多优势,但同时也伴随着不容忽视的局限性,首要挑战在于其兼容性边界,尽管WebM已广泛适应于众多网站与软件平台,但在特定应用环境或老旧设备上,其兼容难题依旧凸显,为用户体验带来不便,再者,WebM格式的非普适性也体现在编辑流程上,由于它并非行业内的通用标准,编辑过程中可能会遭遇格式不兼容的障碍,导致操

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip

【VUE】跨域问题的概念,以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略,该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同,则需要服务器显式地允许这种跨域请求。一般在springbo

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代,文本到语音(Text-to-Speech, TTS)技术已成为人机交互的关键桥梁,无论是为视障人士提供辅助阅读,还是为智能助手注入声音的灵魂,TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术,再到现今的深度学习解决方案,TTS 技术经历了一段长足的进步。这篇文章将带您穿越时