motiondirector专题

Motiondirector:motion customization of text-to-video diffusion model

1.Introduction         用户希望创建具有特定运动的视频,例如在预定义摄像机视角下,汽车向前移动然后左转,从文本到视频生成中定制运动。运动定制:给定表示运动概念的参考视频,目标是将预训练的基础模型转化为生成展现该特定运动的视频。定制扩散模型以生成所需运动而不损害其外观多样性是具有挑战的,因为运动和外观在逐步去噪阶段相互耦合。MotionDirector以解耦的方式调