论文笔记(图像篡改检测_CVPRW2019)(二):RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection

本文主要是介绍论文笔记(图像篡改检测_CVPRW2019)(二):RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

论文地址:http://openaccess.thecvf.com/content_CVPRW_2019/html/CV-COPS/Bi_RRU-Net_The_Ringed_Residual_U-Net_for_Image_Splicing_Forgery_Detection_CVPRW_2019_paper.html

论文中,作者提出了一个用于拼接检测的环形残差网络。此网络是一个端到端的image essence attribute segmentation network,没有额外的预处理或后处理操作。这个RRU-Net的核心思想是强化CNN的学习方式。在此网络中包含residual propagation和residual feedback,residual propagation主要用于解决深度网络中梯度退化问题;residual feedback使篡改区域和非篡改区域的差异对比更加明显。

Motivation:

作者认为传统的基于CNN的方法使用image patch作为网络的输入,可能会丢失掉许多上下文信息,这会造成一些错误的预测。当网络的层数加深时,梯度退化问题会出现而且特征之间的可辨别性会变弱,这也使检测更加困难。

针对上述这些问题,作者提出了一个环形残差U-Net。这是一个端到端的图像分割网络,独立于人类视觉系统,可以直接定位篡改区域。更进一步,该网络通过充分利用contextual spatial information可以有效减少误预测。该网络可以有效加强CNN的学习方式并且避免随着网络的加深而出现的梯度退化问题。

How and Why:

之前基于U-net的检测方法,虽然U-net网络各层可以提取出之间一些相对shallow discriminative features,但只有U-net结构两侧的相互作用,仍然不足以充分确定拼接区域。

1.Residual Propagation

image essence attribute之间的差异是拼接检测的基础,而梯度退化现象会对此造成影响,从而使误检率上升。在这里,作者借鉴了Resnet中的shortcut在U-net中引入了这种连接方式,building block如下图所示:

                                              

                                                                       

如上图中,一个block中包含两个卷积层,最后接一个Relu激活函数。是一个线性变换,使前后两项维度相匹配。是通过shortcut连接和逐元素相加实现的。

作者认为这种残差传播过程与人脑的recall机制十分相像。如当一个人学习新知识时可能会忘记之前的旧知识,这时就需要recall机制帮助我们唤起对旧知识的记忆。

2.Residual feedback

作者认为如果可以将篡改区域和非篡改区域之间的差异进一步放大的话,对于拼接检测十分有帮助。在RGN-N一文中,zhou使用SRM来进一步放大差异,但有一个缺点就是:篡改区域和非篡改区域来自相同的brand或model时,由于二者具有相同的noise分布,SRM filter的帮助将非常小。

为了解决这一个问题,作者提出了residual feedback来加强CNN的学习能力,这是一个动态的学习方法,而且不仅仅关注一个或几个特定的图像属性。更进一步,作者设计了一个attention机制,然后将其加在residual feedback上从而更加关注于输入信息中可辨别的特征。在这个attention机制中,作者选择了一个简单的带有sigmoid激活函数的gating mechanism来学习可辨别特征通道之间的非线性关系(同时避免特征扩散),然后将sigmoid的输出与输入信息相加去放大在篡改区域与非篡改区域之间的image essence attributes之间的差异。Residual feedback block的结构如下:

                                                         

                                                                               

G是一个线性映射,用来改变的维度,s表示sigmoid激活函数。

作者认为residual feedback与人脑的consolidation机制有些类似,consolidate我们已经获得的知识时也可以获得新的信息。

作者采用residual feedback放大特征之间的差异也可以看做是对负标签特征的一种抑制;此外这种连接有利于加速模型的收敛。

3.Ringed Residual Structure and Network Architectures

论文提出的RRU-net整体框架图如上。总体来说,环形残残差结构使网络提取出的image essence attribute特征更加明显。

结论 or 下一步:

Pixel level:

Image level:

                                

 

 

这篇关于论文笔记(图像篡改检测_CVPRW2019)(二):RRU-Net: The Ringed Residual U-Net for Image Splicing Forgery Detection的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/317677

相关文章

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

基于.NET编写工具类解决JSON乱码问题

《基于.NET编写工具类解决JSON乱码问题》在开发过程中,我们经常会遇到JSON数据处理的问题,尤其是在数据传输和解析过程中,很容易出现编码错误导致的乱码问题,下面我们就来编写一个.NET工具类来解... 目录问题背景核心原理工具类实现使用示例总结在开发过程中,我们经常会遇到jsON数据处理的问题,尤其是

Node.js net模块的使用示例

《Node.jsnet模块的使用示例》本文主要介绍了Node.jsnet模块的使用示例,net模块支持TCP通信,处理TCP连接和数据传输,具有一定的参考价值,感兴趣的可以了解一下... 目录简介引入 net 模块核心概念TCP (传输控制协议)Socket服务器TCP 服务器创建基本服务器服务器配置选项服

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今,数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形

SpringBoot使用Apache Tika检测敏感信息

《SpringBoot使用ApacheTika检测敏感信息》ApacheTika是一个功能强大的内容分析工具,它能够从多种文件格式中提取文本、元数据以及其他结构化信息,下面我们来看看如何使用Ap... 目录Tika 主要特性1. 多格式支持2. 自动文件类型检测3. 文本和元数据提取4. 支持 OCR(光学

基于WinForm+Halcon实现图像缩放与交互功能

《基于WinForm+Halcon实现图像缩放与交互功能》本文主要讲述在WinForm中结合Halcon实现图像缩放、平移及实时显示灰度值等交互功能,包括初始化窗口的不同方式,以及通过特定事件添加相应... 目录前言初始化窗口添加图像缩放功能添加图像平移功能添加实时显示灰度值功能示例代码总结最后前言本文将

.NET利用C#字节流动态操作Excel文件

《.NET利用C#字节流动态操作Excel文件》在.NET开发中,通过字节流动态操作Excel文件提供了一种高效且灵活的方式处理数据,本文将演示如何在.NET平台使用C#通过字节流创建,读取,编辑及保... 目录用C#创建并保存Excel工作簿为字节流用C#通过字节流直接读取Excel文件数据用C#通过字节

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n