图像复原天花板!IR开创性新作实现最佳视觉质量,修复更智能、更逼真

本文主要是介绍图像复原天花板!IR开创性新作实现最佳视觉质量,修复更智能、更逼真,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图像复原(IR)指在已知图像退化的原因和模型的情况下,通过一系列的逆过程来恢复出原始图像的过程。这是一个长期的低级视觉任务,也是图像处理领域的一个重要课题。

随着深度学习技术的发展,图像复原领域不断出现新的网络架构、损失函数、训练策略等创新点,研究者们受此启发,提出了许多突破性成果。

目前,基于神经网络、transformer、生成先验等的图像复原新方法在处理复杂退化情况时表现出色。比如中国科学院大学、上海人工智能实验室提出的SUPIR、刷新多个low-level任务指标的Restormer。

  • SUPIR:一种突破性的图像复原方法,开创性结合文本引导先验和模型规模扩大。通过利用多模态技术和先进的生成先验,在智能和逼真的图像复原方面取得了重大进展。

  • Restormer:MPRNet与MIRNet的作者在图像复原领域的又一力作,极大程度上缓解了计算量与GPU缓存占用问题,刷新了多个图像复原任务的SOTA性能。

为帮助同学们了解这一重要课题的最新研究方向,我整理了12种最新的图像复原创新方案,简单分析了一些可参考的方法和创新点,并附上开源代码方便各位复现。

论文以及开源代码需要的同学看文末

SUPIR

Scaling Up to Excellence:Practicing Model Scaling for Photo-Realistic lmage Restoration In the Wild

方法:SUPIR是一种开创性的图像复原方法,它利用了生成先验和模型扩展的能力。通过使用多模态技术和先进的生成先验,SUPIR在智能和现实的图像复原方面取得了显著的进步。作为SUPIR中的一个关键催化剂,模型扩展极大地增强了其能力,并为图像复原展示了新的潜力。

创新点:

  • 提出了一种基于文本提示的图像修复方法,通过在大规模图像-文本对数据集上进行训练,并利用扩散模型的特征,可以根据人类提示有选择地修复图像。

  • 提出了一种抗降级编码器,可以减少降级对生成模型的影响,进一步防止生成模型将伪影误认为图像内容。

  • 提出的方法在感知质量方面明显优于现有的方法。通过与其他具有相同能力的先进方法进行比较,实验证明了该方法在感知质量上的显著优势。

Restormer

Restormer: Effcient Transformer for High-Resolution Image Restoration

方法:RNAN是一个基于Transformer的模型,用于处理高分辨率图像的恢复任务。它通过引入多头自注意力层和多尺度分层模块来提高计算效率。DeamNet是一个基于CNN的模型,也用于图像恢复任务。这两个模型在多个图像处理任务上进行了实验和分析,包括图像去雨、单图像运动去模糊、焦点去模糊和图像去噪。

创新点:

  • 渐进学习策略:通过在早期时期对小图像块和大批量进行训练,然后在后期时期对逐渐增大的图像块和小批量进行训练,使得Restormer能够从大图像中学习上下文,并在测试时提供质量性能的改进。

  • 高分辨率图像处理的Transformer模型:提出了一种能够处理高分辨率图像的高效Transformer模型,通过对多头自注意力层和多尺度分层模块进行关键设计,减轻了计算瓶颈。该模型能够学习长距离依赖关系,并保持计算效率。

  • 改进的前馈网络:引入了门控机制和局部机制,以及门控深度卷积,增强了前馈网络的性能。这些改进使得Restormer在噪声水平为50时相对于标准前馈网络获得了0.26 dB的PSNR增益。

MiOIR

Towards Effective Multiple-in-One Image Restoration:A Sequential and Prompt Learning Strategy

方法:论文研究了多任务图像恢复(MiO IR)问题,该问题包括了七个常见的图像恢复任务。研究发现MiO IR面临两个关键挑战:多样化目标的优化和适应多个任务。为了解决这些挑战,本文提出了两种简单而有效的策略。第一种策略是顺序学习,通过逐步学习单个IR任务,而不是将它们混合在一起,来优化多样化的目标。第二种策略是提示学习,通过帮助网络理解特定任务并提高泛化能力,来适应不同的IR任务。

创新点:

  • 提出了多任务图像恢复(MiO IR)问题,旨在训练一个单一模型来处理多个IR任务。

  • 引入了顺序学习策略,通过按顺序逐个学习不同的IR任务,而不是将它们混合在一起,以优化多样化的目标。

  • 提出了提示学习策略,通过提供额外的输入或自适应提取动态视觉提示,帮助网络理解特定任务并提高泛化能力,以适应不同的IR任务。

InstructIR

InstructIR: High-Quality Image Restoration Following Human Instructions

方法:作者提出了第一个使用人类编写指令来指导图像恢复模型的方法。给定自然语言提示,该模型可以从它们的退化对应物中恢复高质量的图像,考虑到多种退化类型。该方法在包括图像去噪、去雨、去模糊、去雾和(低光)图像增强等几个恢复任务上取得了最先进的成果。

创新点:

  • 引入了基于人类指令的图像修复模型,该模型可以根据人类指令对图像进行修复,实现了对多种类型和程度的图像退化进行修复的能力。

  • 设计了一个全新的图像模型,该模型具有4级编码器-解码器结构,并在编码器和解码器之间使用了4个中间块来进一步增强特征。此外,解码器使用了加法而不是串联来进行跳跃连接,这是一种新颖的方法。

  • 提出了一种基于文本编码器的训练方法,通过训练一个投影头来适应文本编码器,从而更好地编码图像修复模型所需的信息。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“图像复原”获取论文+代码

码字不易,欢迎大家点赞评论收藏

这篇关于图像复原天花板!IR开创性新作实现最佳视觉质量,修复更智能、更逼真的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/750059

相关文章

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Android实现两台手机屏幕共享和远程控制功能

《Android实现两台手机屏幕共享和远程控制功能》在远程协助、在线教学、技术支持等多种场景下,实时获得另一部移动设备的屏幕画面,并对其进行操作,具有极高的应用价值,本项目旨在实现两台Android手... 目录一、项目概述二、相关知识2.1 MediaProjection API2.2 Socket 网络

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Redis消息队列实现异步秒杀功能

《Redis消息队列实现异步秒杀功能》在高并发场景下,为了提高秒杀业务的性能,可将部分工作交给Redis处理,并通过异步方式执行,Redis提供了多种数据结构来实现消息队列,总结三种,本文详细介绍Re... 目录1 Redis消息队列1.1 List 结构1.2 Pub/Sub 模式1.3 Stream 结

C# Where 泛型约束的实现

《C#Where泛型约束的实现》本文主要介绍了C#Where泛型约束的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录使用的对象约束分类where T : structwhere T : classwhere T : ne

将Java程序打包成EXE文件的实现方式

《将Java程序打包成EXE文件的实现方式》:本文主要介绍将Java程序打包成EXE文件的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录如何将Java程序编程打包成EXE文件1.准备Java程序2.生成JAR包3.选择并安装打包工具4.配置Launch4

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

Python实现特殊字符判断并去掉非字母和数字的特殊字符

《Python实现特殊字符判断并去掉非字母和数字的特殊字符》在Python中,可以通过多种方法来判断字符串中是否包含非字母、数字的特殊字符,并将这些特殊字符去掉,本文为大家整理了一些常用的,希望对大家... 目录1. 使用正则表达式判断字符串中是否包含特殊字符去掉字符串中的特殊字符2. 使用 str.isa

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Android实现悬浮按钮功能

《Android实现悬浮按钮功能》在很多场景中,我们希望在应用或系统任意界面上都能看到一个小的“悬浮按钮”(FloatingButton),用来快速启动工具、展示未读信息或快捷操作,所以本文给大家介绍... 目录一、项目概述二、相关技术知识三、实现思路四、整合代码4.1 Java 代码(MainActivi