本文主要是介绍DynamiCrafter:Animating open-domain images with video diffusion priors，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1.Method
图像条件视频生成，
1.1 Image Dynamics from Video Diffusion Priors
1.1.1 文本对齐的上下文表征
文本嵌入通过clip构建，图像通过clip编码，主要代表语义层面的视觉内容，未能捕获图像的完整信息，为了提取更完整的信息，使用来自clip图像vit最后一层的全视觉标记，该token在条件图像生成时表现出了高保真度，为了促进与文本嵌入的对齐，即为了获得可以被去噪unet解释的上下文表征，利用一个轻量级网络P将视觉token转换为上下文表征，采用了多模态融合的Q-former架构。随后文本嵌入和上下文嵌入通过双cross attention与unet中间特征交互
这篇关于DynamiCrafter:Animating open-domain images with video diffusion priors的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
