本文主要是介绍论文总结：EXPRESSIVE SPEECH-DRIVEN FACIAL ANIMATION WITH CONTROLLABLE EMOTIONS，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
存在的问题：现有的语音驱动面部动画方法可以产生令人满意的嘴部运动和嘴唇同步，但在情感表达和情感控制方面存在不足。
作者使用wav2vec2.0和transformer encoder来获取文本向量和全局风格向量。将其拼接起来通过Auido2FLAME模块来预测flame的参数，Auido2FLAME由多层CNN组成。在此阶段，将主要关注嘴唇同步，并确保嘴部运动的精确性。引入了一个情感控制模块，其中包括一个基于双 LSTM 的情感预测器，后跟一个嵌入层来生成情感相关的潜在特征，以及一个基于 CNN 的情感增强网络来增强 FLAME 参数的表达能力基于情感特征。
Emotion Control Module：在训练阶段，为了使网络看到输入中的情感变化，我们利用基于图像的情感识别模型来获取帧级情感信息作为情感先验，以方便模型训练。这个作者使用DAN来获取情感先验。作者使用最后一个softmax层之前的logits（包含快乐、愤怒等七种情绪的七维向量）与感知的情绪强度高度一致，所以将其作为情感先验。通过最大化音频和视频之间的互信息（mutual information）(互信息用于衡量两个随机变量之间的相关性，这里用来衡量音频和视频中的情感信息之间的关联)来训练双向LSTM，从而提高情感识别的性能。在生成阶段，通过bi-LSTM网络从音频中提取情感先验，并通过用户输入的情感类别和强度进行更改。用户提供的情感条件转化为一个独热向量（one-ho
这篇关于论文总结：EXPRESSIVE SPEECH-DRIVEN FACIAL ANIMATION WITH CONTROLLABLE EMOTIONS的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
