本文主要是介绍用于生成 Avatar 的文本引导式情感和运动控制-InstructAvatar，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
网址
- https://wangyuchi369.github.io/InstructAvatar/
用于生成 Avatar 的文本引导式情感和运动控制
官网翻译
最近的会说话的头像生成模型在实现与音频的真实和准确的嘴唇同步方面取得了长足的进步，但在控制和传达头像的详细表情和情感方面往往存在不足，使生成的视频不那么生动和可控。
在本文中，我们提出了一种新颖的文本引导方法，用于生成具有情感表现力的 2D 头像，为生成的视频提供细粒度控制、改进的交互性和通用性。我们的框架名为 InstructAvatar，它利用自然语言界面来控制化身的情绪和面部动作。
我们设计了一个自动标注流水线来构建一个指令-视频配对的训练数据集，配备了一个基于双分支扩散的新型生成器，可以同时预测具有音频和文本指令的化身。
实验结果表明，InstructAvatar 产生的结果与这两种条件都非常吻合，并且在细粒度情绪控制、口型同步质量和自然性方面优于现有方法。
代码即将推出，可以跟进一波
这篇关于用于生成 Avatar 的文本引导式情感和运动控制-InstructAvatar的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
