用于低质量蒙面人脸识别的一致子决策网络

2024-08-27 13:44

本文主要是介绍用于低质量蒙面人脸识别的一致子决策网络,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Consistent Sub-Decision Network for Low-Quality Masked Face Recognition

摘要

        提出了一种利用由多个dropout块组成的在线一致性评估结构来获得对应于人脸不同区域的子决策网络,以获得对应于不同面部区域的子决策,并通过加权双向KL散度来约束子决策,使网络集中在上面而没有遮挡的面部。此外,还进行知识蒸馏,以驱动蒙面人脸嵌入接近原始数据分布,以减轻信息丢失。实验表明,所提出的方法在公共蒙面人脸识别数据集(即 RMFD、MFR2 和 MLFW)上的性能优于基线。

创新点

        1)提出了一致的子决策网络来获得对应于不同面部区域的子决策,并通过加权双向KL散度来约束子决策,使网络更加集中于面部区域(上面的脸没有遮挡)。

        2)进行知识蒸馏,以驱动蒙面人脸嵌入接近原始数据分布,以减轻信息丢失。

模型

        使用 FaceX-Zoo为每个正常人脸图像生成蒙版人脸图像,以获得混合训练数据集。假设正常人脸图像集、混合人脸图像集和身份标签集,组成一对数据集 D 。两个样本 {x_i}^N,{x_i}^M表示为作为来自同一身份的正常人脸图像及其对应的蒙版人脸图像。

        所提出的一致子决策网络的结构。在图的上部,每个人脸被提取成特征图,作为dropout模块的输入以获得多个子决策,不同的颜色区分了具有不同遮罩盖的面部图像的 dropout 模块的输出。应用双向KL散度约束来自动确定子决策一致性的优化方向。在图的下部,使用预训练的正常人脸识别模型来为上面的学生网络提炼指导性知识。

A. 一致的子决策网络

        基于模拟的方法提出从未蒙蔽的面孔生成蒙蔽的面孔。然而,在这些模拟人脸中,仍然存在一些具有负遮挡的低质量样本,从而导致面部特征模糊或缺失。为了解决这个问题,利用由多个dropout块组成的在线一致性评估结构来获得对应于人脸不同区域的子决策。子决策受到加权双向 KL 散度的约束,使网络更多地集中在没有遮挡的上表面上,并提取更多的判别性特征。

        在线子决策一致性评估方法的结构。展平后的特征图通过 dropout 模块生成子决策。一致性是通过子决策之间的 KL 散度来衡量的。

        给定来自D的人脸图像X,首先使用特征图生成器提取输入人脸图像的特征图。然后特征图被展平并通过多个 dropout 块以获得对应于不同面部区域的子决策,这些子决策被收集,并且在实现中设置 n =3。由于已经证明,在网络上重复应用dropout可以近似高斯过程的不确定性,我们进一步将这种不确定性扩展到子决策。在子决策之间应用双向KL散度计算来确定一致性值C(X)。

        子决策一致性可用于从模拟蒙面图像中检测低质量样本。首先,计算子决策之间的分歧。然后,应用激活函数来计算每个输入人脸图像的一致性值。一致性得分输出是[0,1]之间的概率值。如图2所示,可以看到一致性可以应用于从模拟蒙面图像中检测低质量样本。

        子决策一致性可用于从模拟蒙面图像中检测低质量样本。值越大表示子决策一致性和图像质量越高。

        为此,知道低子决策一致性值对应于模拟人脸图像中的低质量样本。然而,不同的子决策侧重于具有不同识别信息的不同面部区域。因此,寻求迫使具有低识别信息的子决策逼近具有高识别信息的子决策,从而使网络更多地集中在上表面而没有遮挡。为了自动评估每个子决策的信息程度,应用概念分支的输出作为双向KL散度约束中的权重。

 B. 知识蒸馏

        正常人脸比蒙面人脸包含更多的识别性身份信息。寻求使蒙面人脸嵌入接近正常人脸嵌入,以减轻信息丢失。具体来说,使用预训练的模型来执行知识蒸馏。给定一对面部图像X^N,X^M,从教师和学生模型中获得正常人脸嵌入 f^N和蒙面人脸嵌入 f^M。为了充分利用不同的面部区域信息,进一步应用概念分支的权重来获得加权嵌入,可以表示为:

        其中,M_{teacher}是预训练模型的嵌入编码器,G是特征图生成器,D_i是第i个dropout块,w^i表示概念分支的输出。使用嵌入之间的余弦距离方法来进行知识蒸馏作为正则项:

        为了保持类间差异和类内聚合,我们使用 CosFace作为我们的分类损失函数,它可以表示为

        总体损失函数公式如下:

这篇关于用于低质量蒙面人脸识别的一致子决策网络的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1111837

相关文章

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Python中Windows和macOS文件路径格式不一致的解决方法

《Python中Windows和macOS文件路径格式不一致的解决方法》在Python中,Windows和macOS的文件路径字符串格式不一致主要体现在路径分隔符上,这种差异可能导致跨平台代码在处理文... 目录方法 1:使用 os.path 模块方法 2:使用 pathlib 模块(推荐)方法 3:统一使

mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespace id不一致处理

《mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespaceid不一致处理》文章描述了公司服务器断电后数据库故障的过程,作者通过查看错误日志、重新初始化数据目录、恢复备... 周末突然接到一位一年多没联系的妹妹打来电话,“刘哥,快来救救我”,我脑海瞬间冒出妙瓦底,电信火苲马扁.

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》:本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为

SSID究竟是什么? WiFi网络名称及工作方式解析

《SSID究竟是什么?WiFi网络名称及工作方式解析》SID可以看作是无线网络的名称,类似于有线网络中的网络名称或者路由器的名称,在无线网络中,设备通过SSID来识别和连接到特定的无线网络... 当提到 Wi-Fi 网络时,就避不开「SSID」这个术语。简单来说,SSID 就是 Wi-Fi 网络的名称。比如

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo