emotions专题

[论文阅读]Automatic Chinese Font Generation System Reflecting Emotions Based on Generative Adversarial..

该文提出了一种情感引导的中文字体自动生成框架:基于生成对抗网络的中文字体自动生成框架,使生成的字体能够反映人类的情感信息。主要两方面为其打基础,一方面,腾讯公司开发了一个详细的问卷系统,旨在定量地找出字体和情绪之间的关系。并基于训练好的模型设计了视觉表情识别部分,为字体生成模块提供条件信息。另一方面,提出了一种基于情感距离和梯度惩罚的情感引导方法,以及分类策略,用于生成由表情识别模块推断的多种

论文总结:EXPRESSIVE SPEECH-DRIVEN FACIAL ANIMATION WITH CONTROLLABLE EMOTIONS

存在的问题:现有的语音驱动面部动画方法可以产生令人满意的嘴部运动和嘴唇同步,但在情感表达和情感控制方面存在不足。 作者使用wav2vec2.0和transformer encoder来获取文本向量和全局风格向量。将其拼接起来通过Auido2FLAME模块来预测flame的参数,Auido2FLAME由多层CNN组成。在此阶段,将主要关注嘴唇同步,并确保嘴部运动的精确性。引入了一个情感控制模块,其