人脸识别——Webface-OCC遮挡人脸识别算法解析

2024-05-29 01:20

本文主要是介绍人脸识别——Webface-OCC遮挡人脸识别算法解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 概述

自2019年被誉为人脸识别技术的元年,各地纷纷引入这项技术。然而,自2020年起,为了抵御冠状病毒(COVID-19)的全球传播,人们普遍开始佩戴口罩。众所周知,现有人脸识别模型在面对遮挡物(如口罩)时,其识别精度会显著下降。这一现象的主要原因在于,现有数据集往往没有充分考虑遮挡因素。

目前,尚未有一个公开的数据集能够全面考虑人脸识别中的遮挡问题。尽管已有一些研究提出了针对遮挡感知的人脸识别模型,包括对面具和太阳镜的识别,但这些研究大多是基于自行构建的数据集。然而,这些自行构建的数据集与现实情况存在较大差异,因此其有效性受到限制。

例如,(a) 展示了2016年报道的MaskNet所使用的数据集样本。该数据集通过随机应用不同尺寸的黑色遮罩来模拟遮挡。然而,这种单一的遮挡类型预计会降低模型的泛化能力。此外,考虑到实际应用场景,这种咬合(遮挡)方式显得并不自然。

(b) 展示了2019年报道的成对差分连体网络(PDSN)所使用的三个数据集样本。这里提供了三种不同的遮挡类型,与(a)相比,遮挡类型的多样性有所增加。但是,从实际应用的角度来看,遮挡的位置和大小仍然不够自然。

© 展示了2020年报告的wID所使用的数据集样本。在这个数据集中,人脸图像被随机应用了方形框作为遮挡。尽管采用了综合方法,但这种方法仍然无法很好地适应实际条件。

近年来,使用生成对抗网络(GANs)的方法受到了广泛关注,因为它们能够生成视觉上更自然的遮挡图像。然而,这些图像在细节信息上的变化可能导致在这些图像上训练的人脸识别模型在实际应用中表现不佳。

因此,尽管目前已有一些考虑遮挡的数据集,但它们大多数与现实情况相去甚远。

为了改善这一状况,本文提出了一个新的公共遮挡感知数据集——Webface-OCC。(d) 展示了Webface-OCC的样本数据。该数据集包含10,575个不同主体的804,704张面部图像,涵盖了各种遮挡类型,有望为人脸识别技术的发展提供更贴近实际的支持。


论文地址:https://arxiv.org/abs/2103.02805
源码地址:https://github.com/Baojin-Huang/Webface-OCC

2. Webface-OCC

Webface-OCC是基于广泛使用的CASIA-Webface人脸识别数据集构建的。CASIA-Webface数据集包含了轻微遮挡的人脸图像,使得在该数据集上训练的人脸识别模型在小遮挡情况下表现出色。

为了进一步提升模型在遮挡条件下的表现,我们对CASIA-Webface进行了增强,创建了全新的Webface-OCC数据集。这一改进对于提高模型在面对遮挡时的人脸识别性能具有显著帮助。

以下是Webface-OCC数据集的示例。与以往使用方块随机遮挡人脸的方法不同,我们在Webface-OCC中采用了口罩和太阳镜等更符合实际情境的遮挡物,这些是人们在日常生活中经常遇到的。

Webface-OCC提供了多种类型的(a)纹理/颜色和(b)口罩/太阳镜,具体如下所示。然后,我们从未经遮挡的正常图像中提取了面部特征点。

接下来,利用这些面部特征点,我们通过精确地将口罩映射到覆盖口鼻区域,将太阳镜映射到覆盖眼睛区域,并调整它们的角度和大小,生成了一系列带有遮挡的人脸图像。

通过这种方式,我们增加了数据集的多样性,使得数据集包含了多种遮挡类型的组合。最终,Webface-OCC数据集包含了10,575个不同个体的804,704张人脸图像。
此外,数据集中每个ID都包含了正常和遮挡状态下的人脸图像,且两者数量相等,如下所示。

3.测试实验

Webface-OCC训练的模型在两种不同情境下进行了评估:

  1. 一般人脸识别:使用了Labeled Faces in the Wild (LFW)、Celebrity Frontal-Profile in the Wild (CFP-FP) 和 AgeDB-30 数据集进行评估。
  2. 遮挡人脸识别:使用了最新提出的LFW-mask、CFP-FP-mask、AgeDB-30-mask 和 Real-World Masked Face Dataset (RMFRD) 进行评估。

LFW-mask、CFP-FP-mask 和 AgeDB-30-mask 是在原始数据集的基础上添加了遮挡物,这些数据集在图像数量和比例上与原始数据集保持一致,没有变化。

评估所用的模型基于六种具有代表性的人脸识别架构:CenterFace、SphereFace、FaceNet、CosFace、ArcFace 和 MaskNet。特别地,FaceNet 和 ArcFace 还在 WiderFace 数据集上进行了重新训练,以进一步验证其性能。

评估结果显示,由于人脸方向和年龄差异的影响,CFP-FP 和 AgeDB-30 的准确率显著低于 LFW。然而,使用 Webface-OCC 训练的模型与原始模型相比,准确率仅下降了大约 1%,表明这些模型在一般人脸识别数据集上的整体表现仍然较高。

模型性能比较图

此外,重新训练的模型(特别是 FaceNet 和 ArcFace)在性能上明显优于原始模型。例如,ArcFace 在四个遮挡人脸识别数据集(LFW-mask、CFP-FP-mask、AgeDB-30-mask 和 RMFRD)上的准确率比原始模型分别提高了 36.22%、29.14%、27.04% 和 15.03%。

换言之,重新训练的模型在显著提升对遮挡人脸识别数据集的性能的同时,保持了对一般人脸识别数据集的高准确率。

与模拟遮挡的人脸识别数据集(LFW-mask、CFP-FP-FP-mask 和 AgeDB-30-mask)相比,真实遮挡的人脸识别数据集(RMFRD)的识别精度较低。这可能是由于 RMFRD 中遮挡物的未知性,或者是因为被试者是公众人物,他们可能会故意伪装,以隐藏自己的身份。

4.总结

本文介绍了一个新的公共数据集,专为闭塞感知人脸识别而设计。与传统的合成遮挡方法相比,我们采用了一种创新的面部特征点映射技术来合成遮挡物,这种方法更贴近现实世界的应用场景。我们提出了一种综合的遮挡合成方法,它能够更真实地模拟实际中的遮挡情况。

通过将此方法应用于现有的Webface数据集,我们成功构建了一个包含大规模遮挡图像的公共数据集。此外,我们在该数据集上对ArcFace模型进行了重新训练,结果表明,重新训练后的模型在LFW-Mask和RMFRD数据集上分别达到了97.08%和78.25%的高准确率。

据NIST等多个国际权威机构的报告,传统人脸识别模型在口罩遮挡下的准确率会有显著下降。我们预计,Webface-OCC的推出将为人脸识别领域带来一个规模更大、更多样化、更精确的遮挡人脸识别数据集,从而显著提升人脸识别模型的准确性。

这篇关于人脸识别——Webface-OCC遮挡人脸识别算法解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1012243

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图

利用Python和C++解析gltf文件的示例详解

《利用Python和C++解析gltf文件的示例详解》gltf,全称是GLTransmissionFormat,是一种开放的3D文件格式,Python和C++是两个非常强大的工具,下面我们就来看看如何... 目录什么是gltf文件选择语言的原因安装必要的库解析gltf文件的步骤1. 读取gltf文件2. 提

Java中的runnable 和 callable 区别解析

《Java中的runnable和callable区别解析》Runnable接口用于定义不需要返回结果的任务,而Callable接口可以返回结果并抛出异常,通常与Future结合使用,Runnab... 目录1. Runnable接口1.1 Runnable的定义1.2 Runnable的特点1.3 使用Ru

使用EasyExcel实现简单的Excel表格解析操作

《使用EasyExcel实现简单的Excel表格解析操作》:本文主要介绍如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,感兴... 目录前言固定模板及表数据格式的解析实现Excel模板内容对应的实体类实现AnalysisEventLis

Java的volatile和sychronized底层实现原理解析

《Java的volatile和sychronized底层实现原理解析》文章详细介绍了Java中的synchronized和volatile关键字的底层实现原理,包括字节码层面、JVM层面的实现细节,以... 目录1. 概览2. Synchronized2.1 字节码层面2.2 JVM层面2.2.1 ente