《Deepfake Video Detection through Optical Flow based CNN》光流法检测假视频论文解析

本文主要是介绍《Deepfake Video Detection through Optical Flow based CNN》光流法检测假视频论文解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

如题,本篇论文是通过光流法,以CNN网络,对deepfake的视频进行检测真伪,deepfake相关介绍点击这里
这篇文章使用如下结构

在这里插入图片描述
文章提出,要fake视频和origin视频的差异在于,一个是计算机合成,一个是摄像机拍摄而成,而光流可以利用这种差异,在光流场中进行体现

方法如下:

  1. 对于t时间的帧 f(t),提取forward flow光流OF(f(t),f(t+1))用的CNN模型是PWC-Net,这种技术基于pyramidal processing and warping和cost volume来预测光流
  2. 然后将算出的forward flow光流OF(f(t),f(t+1))作为输入,进入一个semi-trainable CNN,称为Flow-CNN,这个CNN内部是一些已经训练好的网络,使用VGG16和ResNet50,正如Figure1
  3. 由于deepfake数据集不足以从头训练网络,在网络的一部分采用transfer learning,其余部分进行fine-tuned,fine-tuned时,网络的第一层是固定,最后一层卷积层和dense ones是已经被训练好的
  4. 最后的全连接层在使用sigmoid激活后,会输出一个unit,放置于网络的末尾,对于每一帧,作为fake or real的的依据。
  5. 为了利用现有的pre-trained 网络对原始RGB图像进行训练,使用固定的颜色编码方法将光流转换为3通道的图像,像素的颜色是由flow vector和horizontal axis之间的夹角决定。颜色的饱和度由运动的强度决定
    就是这个

初步实验结果

可视化例子效果如下
在这里插入图片描述
可以发现,在视频中的人说话的时候,左边original的光流场出现变化,而右边fake的光流场依然很平滑
尝试使用网络去学习这些线索,这个网络的数据集处理为
300X300的包含脸部的图片,从中随机选取224X224的方形patches,并将其随机左右翻转
learing rate :Adam optimizer 10^-4
默认momentum values
batch size : 356
dataset: FaceForensics++ ,包含1000 original video ,使用三种fake方法,Deepfakes,Face2Face,FaceSwap。
训练,验证,测试集的比例为6:1:1
结果如下
在这里插入图片描述
只测试了Face2Face,发现使用不同的网络做Flow-CNN效果不同
Flow-CNN就是

结论

本文介绍并研究了利用光流场差异作为识别deepfakes视频和original视频的线索的思想。这是一个非常新奇的尝试,考虑了序列时间维度中可能的异常。在最初的实验中,为了解决使用pre-trained的网络的问题,运动矢量已经被复制作为3通道图像发送,然后被认为是神经网络的输入.在具有不同类型网络的Face Forensics数据集上获得的初步结果非常有希望。这种特征似乎能够指出两个分析案例之间存在的一些无序性。这一证据为许多可能的未来工作铺平了道路:首先,它可以评估通过对更多数据集和其他神经网络的测试,研究用于deepfakes的光流场的可靠性;其次,研究这种方法将是有趣的。它利用时间轴上的不一致可以与众所周知的最先进的基于框架的方法相结合,以提高它们的性能。

这篇关于《Deepfake Video Detection through Optical Flow based CNN》光流法检测假视频论文解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/369193

相关文章

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

java解析jwt中的payload的用法

《java解析jwt中的payload的用法》:本文主要介绍java解析jwt中的payload的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java解析jwt中的payload1. 使用 jjwt 库步骤 1:添加依赖步骤 2:解析 JWT2. 使用 N

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

Java字符串处理全解析(String、StringBuilder与StringBuffer)

《Java字符串处理全解析(String、StringBuilder与StringBuffer)》:本文主要介绍Java字符串处理全解析(String、StringBuilder与StringBu... 目录Java字符串处理全解析:String、StringBuilder与StringBuffer一、St

Spring Boot循环依赖原理、解决方案与最佳实践(全解析)

《SpringBoot循环依赖原理、解决方案与最佳实践(全解析)》循环依赖指两个或多个Bean相互直接或间接引用,形成闭环依赖关系,:本文主要介绍SpringBoot循环依赖原理、解决方案与最... 目录一、循环依赖的本质与危害1.1 什么是循环依赖?1.2 核心危害二、Spring的三级缓存机制2.1 三