复旦大学王龑团队发布《静态与动态情感的面部表情识别》综述

本文主要是介绍复旦大学王龑团队发布《静态与动态情感的面部表情识别》综述,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

file

论文链接:https://arxiv.org/pdf/2408.15777

复旦大学,王龑博士后领衔,发布《静态与动态情感的面部表情识别》(A Survey on Facial Expression Recognition of Static and Dynamic Emotions)综述,对基于图像的静态面部表情识别(SFER)和基于视频的动态面部表情识别(DFER)方法进行了全面综述,从模型导向的发展到挑战聚焦的分类进行了系统分析。

论文首先对近期的综述进行批判性比较,介绍了常用的数据集和评估标准,并深入探讨了FER的工作流程,以建立坚实的研究基础。接着,系统性地回顾了应对SFER的八大主要挑战(如表情干扰、不确定性、复合情绪和跨域不一致性)以及应对DFER的七大主要挑战(如关键帧采样、表情强度变化和跨模态对齐)的代表性方法。此外,分析了近期的进展、基准表现、主要应用及伦理考量。最后,提出了五个有前景的未来研究方向和发展趋势,以指导后续研究。本论文的项目页面可访问:https://github.com/wangyanckxx/SurveyFER。

研究背景

情感计算在关键国家领域具有深远的影响和重要性。英国创新署(Innovate UK)将“人工智能(AI)情感和表情识别”列为2024年对英国经济和社会产生深刻影响的50项新兴技术之首。中国科学技术协会也隆重发布了2024年的重大科学问题,其中,具有情感和情感智能的数字人和机器人研究被选为十大前沿科学问题之一。显然,AI情感和表情识别技术的发展已成为通用人工智能、数字计算和多学科研究的必然要求。

面部表情是人类情感表达的主要和直接手段,在人际互动中频繁使用,且具有极其重要的意义。面部表情通过非语言的方式传达比声音、手势和身体姿势更丰富的情感信息。面部情感的概念最早由达尔文在其著作《人类与动物的表情》中提出,表情被认为是天生的,是动物和人类在进化和生存过程中适应性动作的遗留物。Ekman和Friesen提出了六种基本情感:快乐、愤怒、悲伤、惊讶、恐惧和厌恶,并发现了特定面部肌肉模式与情感类型之间的普遍关联,这在跨文化中是一致的。

近年来,随着AI技术的进步,面部情感识别(FER)方法迅速发展,并在心理研究、医学诊断和智能人机交互等领域广泛应用。FER旨在通过分析面部表情来识别个体的情感状态。根据用于捕捉表情的数据类型,FER可以分为基于图像的静态FER(SFER)和基于视频的动态FER(DFER)。SFER主要解决姿态遮挡、跨域不一致性、标签不确定性、数据量不足和跨模态等挑战。研究人员还通过各种数据增强技术和正则化方法来缓解数据量不足和标签不确定性的问题。此外,通过跨模态信息融合,提高了表情识别的鲁棒性和准确性。

SFER关注瞬时表情,而DFER则关注面部表情的时间变化,以准确描述和理解情感转变的全过程。处理视频序列中的表情识别,DFER面临关键帧提取、时空特征提取、表情强度变化和跨模态融合的主要挑战。为捕捉动态表情信息,DFER模型不仅关注单帧中的静态特征,还结合了连续帧之间的时间关系。

面部表情研究分类

本文系统总结了面部表情识别(FER)研究的现状,并通过层次化分类体系,将现有的FER研究按输入类型(基于图像的SFER和基于视频的DFER)、任务挑战和网络结构进行组织,如图1所示。对于SFER,我们识别了八个关键挑战,如干扰、不确定性、复合标签、跨域适应性和跨模态问题,并总结了现有方法中常用的应对这些挑战的模型结构。对于DFER,我们还结合了七个额外的考虑因素,如关键帧提取、表情强度变化、静态与动态一致性、半监督学习和跨域对齐,并总结了当前方法的解决方案。

我们进一步分析并讨论了典型方法在基准数据集上的最新进展。此外,我们还在GitHub仓库中总结了基准数据集、评估指标、文献、代码、工作流程和相关讨论。为了构建这一分类体系,我们广泛回顾了2016年至2024年间的大量研究论文。图2展示了2016年至2024年间与基于图像的SFER和基于视频的DFER相关的出版物和引用趋势。从2019年开始,出版物和引用量显著增加,并持续增长到2023年,并预计在2024年继续上升。这反映了对SFER和DFER领域的兴趣和进展的日益增长。

file
图1:静态和动态情感的面部表情识别(FER)分类体系。我们提出了一个层次化分类体系,在系统框架内根据输入类型、任务挑战和网络结构对现有的FER模型进行分类,旨在提供当前FER研究全貌的全面概述。首先,我们将数据集、评估指标和工作流程(包括文献和代码)引入了一个公共的GitHub仓库中(第1、2和3节)。接着,基于图像的SFER(第4节)和基于视频的DFER(第5节)通过不同的学习策略和模型设计来克服不同的任务挑战。随后,我们分析了FER在基准数据集上的最新进展(第6节)。最后,我们讨论并总结了FER中的一些重要问题和潜在趋势,并强调了未来发展的方向(第7、8和9节)。

综述优势

file
S、D 和 WF 分别表示静态、动态和工作流程。
DI、3D、UA、CP、CD、LS 和 CM 分别表示静态、动态和工作流程。
SL、EI、MM、SD、SS 和 VL 分别表示采样、表情强度、多模态、静态到动态、半监督和视觉-语言。
HPC、PE 和 HCI 分别表示健康与心理咨询、个性化教育和人机交互。

贡献点

为了阐明面部表情识别(FER)的发展并激发未来研究,本综述涵盖了研究背景、数据集、通用工作流程、任务挑战、方法、性能评估、应用、伦理问题以及发展趋势。总的来说,本工作的主要贡献如下:

  1. 据我们所知,这是第一个将FER研究分为基于图像的静态FER(SFER)和基于视频的动态FER(DFER)的综合性综述,从模型导向的发展扩展到挑战导向的分类,并深入分析了实际环境中的挑战与解决方案。

  2. 我们系统回顾了SFER中涉及的八大主要挑战(如表情干扰、不确定性、跨域不一致性)和DFER中涉及的七大主要挑战(如关键帧提取、表情强度变化、跨模态对齐)的最新代表性方法。

  3. 我们总结、分析并讨论了FER在不同基准数据集上的最新进展和技术挑战,涵盖了实验室内FER、自然环境中的SFER和自然环境中的DFER的设置。

  4. 本综述总结了三个领域的应用和伦理问题,并讨论了发展趋势(如零样本FER和具身面部表情生成),旨在为FER系统提供新的视角和指导。

数据集

file

表情识别标准流程

file

深度学习网络架构

基于图像的静态面部表情识别(SFER)涉及从单张图像中提取特征,这些特征捕捉了与面部表情相关的复杂空间信息,如面部标志点及其几何结构和关系。接下来,我们将首先介绍SFER的一般架构,然后从挑战解决的角度详细说明SFER方法的具体设计,包括抗干扰的SFER、3D SFER、考虑不确定性的SFER、复合SFER、跨域SFER、弱监督SFER和跨模态SFER。
file
更多类型网络架构图参考论文 https://arxiv.org/pdf/2408.15777

通用的动态面部表情识别(DFER)方法主要通过提取时空特征来分析表情的动态变化。基于CNN-RNN的模型通常结合卷积神经网络(CNN)和递归神经网络(RNN),而基于Transformer的方法则利用深度注意力机制来处理更复杂的动态关系。
file
更多类型网络架构图参考论文 https://arxiv.org/pdf/2408.15777

发展趋势

面部动作单元(AUs)辅助的FER通过捕捉细微的肌肉动作,提升了表情识别的准确性和跨文化适应性,并增强了模型的可解释性和透明度。
零样本FER旨在识别未见过的情感类别,解决传统FER模型难以扩展到新情感类别的局限,利用视觉语言模型实现广泛的情感识别。
多模态情感识别通过整合面部表情、声音、手势等多种渠道,提供更全面的情感理解,减少单一模态系统的局限性,展现出更强的鲁棒性和准确性。
具身FER系统结合互动技术,实现对多视角和动态环境的实时情感检测和响应,增强了用户体验,并在复杂环境中展现出更高的适应性。
具身面部表情生成通过AIGC和马达驱动两种方式,使机器人能够更逼真地模仿人类表情,未来研究将专注于提升其真实性和表现力。

结论

面部表情识别(FER)在AI领域受到广泛关注,并在人与机器协作和具身智能方面展现出广阔的应用前景。本综述从多个角度对FER进行了深入审视,包括背景、数据集、通用工作流程、挑战导向的最新方法分类、近期进展、应用、伦理问题和新兴趋势。我们通过表格和图表系统地比较和总结了FER的数据集、任务挑战、方法和性能评估,提供了该领域最新进展的清晰概览。这一全面分析为不同学科的研究人员提供了重要参考,帮助他们快速理解该领域的挑战和进展,进而促进在通用FER系统开发方面的合作。

这篇关于复旦大学王龑团队发布《静态与动态情感的面部表情识别》综述的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1133050

相关文章

SpringKafka消息发布之KafkaTemplate与事务支持功能

《SpringKafka消息发布之KafkaTemplate与事务支持功能》通过本文介绍的基本用法、序列化选项、事务支持、错误处理和性能优化技术,开发者可以构建高效可靠的Kafka消息发布系统,事务支... 目录引言一、KafkaTemplate基础二、消息序列化三、事务支持机制四、错误处理与重试五、性能优

新特性抢先看! Ubuntu 25.04 Beta 发布:Linux 6.14 内核

《新特性抢先看!Ubuntu25.04Beta发布:Linux6.14内核》Canonical公司近日发布了Ubuntu25.04Beta版,这一版本被赋予了一个活泼的代号——“Plu... Canonical 昨日(3 月 27 日)放出了 Beta 版 Ubuntu 25.04 系统镜像,代号“Pluc

使用PyTorch实现手写数字识别功能

《使用PyTorch实现手写数字识别功能》在人工智能的世界里,计算机视觉是最具魅力的领域之一,通过PyTorch这一强大的深度学习框架,我们将在经典的MNIST数据集上,见证一个神经网络从零开始学会识... 目录当计算机学会“看”数字搭建开发环境MNIST数据集解析1. 认识手写数字数据库2. 数据预处理的

Linux系统中配置静态IP地址的详细步骤

《Linux系统中配置静态IP地址的详细步骤》本文详细介绍了在Linux系统中配置静态IP地址的五个步骤,包括打开终端、编辑网络配置文件、配置IP地址、保存并重启网络服务,这对于系统管理员和新手都极具... 目录步骤一:打开终端步骤二:编辑网络配置文件步骤三:配置静态IP地址步骤四:保存并关闭文件步骤五:重

Pytorch微调BERT实现命名实体识别

《Pytorch微调BERT实现命名实体识别》命名实体识别(NER)是自然语言处理(NLP)中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种NLP任务中显著... 目录环境准备加载预训练BERT模型准备数据集标记与对齐微调 BERT最后总结环境准备在继续之前,确

mybatis-plus 实现查询表名动态修改的示例代码

《mybatis-plus实现查询表名动态修改的示例代码》通过MyBatis-Plus实现表名的动态替换,根据配置或入参选择不同的表,本文主要介绍了mybatis-plus实现查询表名动态修改的示... 目录实现数据库初始化依赖包配置读取类设置 myBATis-plus 插件测试通过 mybatis-plu

讯飞webapi语音识别接口调用示例代码(python)

《讯飞webapi语音识别接口调用示例代码(python)》:本文主要介绍如何使用Python3调用讯飞WebAPI语音识别接口,重点解决了在处理语音识别结果时判断是否为最后一帧的问题,通过运行代... 目录前言一、环境二、引入库三、代码实例四、运行结果五、总结前言基于python3 讯飞webAPI语音

MyBatis-Plus中静态工具Db的多种用法及实例分析

《MyBatis-Plus中静态工具Db的多种用法及实例分析》本文将详细讲解MyBatis-Plus中静态工具Db的各种用法,并结合具体案例进行演示和说明,具有很好的参考价值,希望对大家有所帮助,如有... 目录MyBATis-Plus中静态工具Db的多种用法及实例案例背景使用静态工具Db进行数据库操作插入

Nginx实现前端灰度发布

《Nginx实现前端灰度发布》灰度发布是一种重要的策略,它允许我们在不影响所有用户的情况下,逐步推出新功能或更新,通过灰度发布,我们可以测试新版本的稳定性和性能,下面就来介绍一下前端灰度发布的使用,感... 目录前言一、基于权重的流量分配二、基于 Cookie 的分流三、基于请求头的分流四、基于请求参数的分

基于Canvas的Html5多时区动态时钟实战代码

《基于Canvas的Html5多时区动态时钟实战代码》:本文主要介绍了如何使用Canvas在HTML5上实现一个多时区动态时钟的web展示,通过Canvas的API,可以绘制出6个不同城市的时钟,并且这些时钟可以动态转动,每个时钟上都会标注出对应的24小时制时间,详细内容请阅读本文,希望能对你有所帮助...