毕业设计 Deepfake假脸视频面部细节特征的提取算法（源码+论文）

0 项目说明

针对Deepfake假脸视频面部细节特征的提取算法

提示：适合用于课程设计或毕业设计，工作量达标，源码开放

1 研究意义

网上多数 Deepfake 是用于色情政治等方面的恶搞行为。对于知名度很高的明星来说，人们知道不是其本人，所以影响并不是很大。但对于普通人或者知名度比较低的女星来说，与其相关的 Deepfake 视频的影响将会使其名誉受损，难以自辩。而政治方面的影响将会更加严重，比如挑起矛盾，引发战火等等。对 Deepfake 假脸视频的面部细节特征提取算法的研究，首先是提取视频图像的面部特征，能够挖掘合成视频与原始视频的差异，可以更好地判别真假视频。这将对Deepfake 犯罪形成一定的威慑力，营造更好的社会环境。

2 研究内容及结果

1.本次实验所提取的 SURF 特征和 ELA 特征都是比较新颖的特征，国内外有所研究但很少与检测 Deepfake 视频联系起来，本次实验导师提出将这几个方面结合起来，实验效果表现良好。

2.SURF 特征和 ELA 特征的提取都十分方便。一是原理简单易懂：SURF 有两大提高运算的法宝：integral images, box filters 在 Hessian 矩阵上的使用，降维特Descriptors的使用；ELA 利用 JPEG 全图相同压缩率的特点做差对比。二是有现成的库函数可以实现这两个特征的提取工作。

3.相较于其他特征，以上两种特征还有如下优势：提取以上两种特征所得到的数据量很少：当图像大小为 256×256 时，前者每幅图像为4×n 个（n 为特征点数量），后者每幅图像为65536 个。但这些数据量足以用于训练 SVM 分类器和用于 SVM 分类器检测。

原图及效果图

第一组

第二组

第三组

3 数据集特征提取

这里的特征提取代码只是将特征提取，然后绘制到图片上保存。后面我们将训练SVM分类器，所以需要用到特征数据，这样才比较方便。因此，后文将首先讲述特征数据的提取并保存至Excel文件，然后训练、测试SVM分类器。

matplotlib中cla() clf() close()用途

import matplotlib.pyplot as pltplt.cla()   # Clear axis即清除当前图形中的当前活动轴。其他轴不受影响。
plt.clf()   # Clear figure清除所有轴，但是窗口打开，这样它可以被重复使用。
plt.close() # Close a figure window

下图只是一部分 Celeba 和 PGGAN 数据集的对比图

左上：原图，第一排PGGAN假脸，第二排Celeba真脸
右上：三原色直方图，假脸三原色峰值基本重合，真脸三原色峰值错开
左下：SURF特征点，假脸同样的阈值特征点多，真脸少
右下：ELA，假脸ELA图片发亮处较多，真脸基本一色调一致
今天把三个数据集处理（提取人脸，png转jpg）后的所有图片的3种特征都提取了一下。
Celeba、PGGAN 特征较好，DFD 效果一般。

输出如下：

# Celeba 
startTime: 2020-02-25 18:08:30.578360
endTime: 2020-02-25 22:50:47.230785
Running time: 4:42:16.652425# PGGAN 
startTime: 2020-02-25 18:09:01.274854
endTime: 2020-02-25 22:58:56.398361
Running time: 4:49:55.123507# DFD
startTime: 2020-02-25 18:09:41.216839
endTime: 2020-02-26 12:08:03.989166
Running time: 17:58:22.772327

4 论文目录

摘要……………………………………………………………………………………………………………….II
Abstract…………………………………………………………………………………………………………III
目录………………………………………………………………………………………………………………IV
第一章绪论…………………………………………………………………………………………………… 1
1.1 GAN 简介………………………………………………………………………………………………… 1
1.2 Deepfake 简介…………………………………………………………………………………………1
1.3 研究背景及意义 ……………………………………………………………………………………… 2
1.3.1 研究背景……………………………………………………………………………………………… 2
1.3.2 研究意义……………………………………………………………………………………………… 3
1.4 国内外研究现状 ……………………………………………………………………………………… 3
1.5 论文结构 …………………………………………………………………………………………………5
第二章 相关工作…………………………………………………………………………………………….6
2.1 图像人脸提取方法的比较 ……………………………………………………………………………6
2.1.1 方法简介……………………………………………………………………………………………… 6
2.1.2 实验对比……………………………………………………………………………………………… 7
2.2 视频分帧存图的实现 …………………………………………………………………………………9
2.3 颜色直方图简介 ………………………………………………………………………………………10
2.4 SURF 概念原理简介 ……………………………………………………………………………….12
2.5 ELA 概念原理简介……………………………………………………………………………………13
2.6 SVM 概念原理简介………………………………………………………………………………. 15
2.6.1 线性可分…………………………………………………………………………………………… 16
2.6.2 线性不可分………………………………………………………………………………………… 16
2.6.3 其他相关概念……………………………………………………………………………………. 16
2.7 总体实验流程图 …………………………………………………………………………………… 17
2.8 本章小结 ………………………………………………………………………………………………18
第三章 特征提取与分类………………………………………………………………………………. 19
3.1 颜色直方图代码实现介绍 ………………………………………………………………………. 19
3.2 SURF 代码实现介绍 ……………………………………………………………………………. 20
3.3 ELA 代码实现介绍…………………………………………………………………………………24
3.4 SVM 代码实现介绍……………………………………………………………………………… 26
3.5 本章小结 ………………………………………………………………………………………………28
第四章 实验结果与分析………………………………………………………………………………. 29
4.1 视频分帧存图结果展示 ………………………………………………………………………… 29
4.2 人脸提取结果展示 ……………………………………………………………………………….30
4.3 颜色直方图特征提取结果展示 …………………………………………………………………. 31
4.4 SURF 特征提取结果展示 ………………………………………………………………………… 34
4.5 ELA 特征提取结果展示……………………………………………………………………………. 36
4.6 SVM 分类效果展示……………………………………………………………………………………38
4.7 实验结果分析 ………………………………………………………………………………………….39
4.8 本章小结 ………………………………………………………………………………………………. 45
第五章 总结与展望………………………………………………………………………………………… 46
5.1 优势分析 …………………………………………………………………………………………………46
5.2 劣势总结 ………………………………………………………………………………………………. 46
5.3 工作展望 ……………………………………………………………………………………………… 47
参考文献………………………………………………………………………………………………………48
致谢…………………………………………………………………………………………………………….52

4 项目工程