本文主要是介绍单张图像扩散模型(Single Image DIffusion Model),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
论文:SinDDM: A Single Image Denoising Diffusion Model, ICML 2023
去噪扩散模型(DDM)在图像生成、编辑和恢复方面带来了惊人的性能飞跃。然而,现有DDM使用非常大的数据集进行训练。在这里,介绍一个用于在单个图像上训练DDM的框架。SinDDM,通过使用多尺度扩散过程来学习训练图像的内部统计信息。为了驱动反向扩散过程,使用了一个完全卷积的轻量级去噪器,它取决于噪声水平和标度。该体系结构允许以粗略到精细的方式生成任意维度的样本。SinDDM生成各种高质量的样本,并适用于广泛的任务,包括风格转移和哈尔monization。此外,它可以很容易地被引导外部监督。特别地,实验演示了使用预先训练的CLIP模型从单个图像进行文本引导生成。
模型的示意图如下:
训练:
采样:
实验效果对照:
这篇关于单张图像扩散模型(Single Image DIffusion Model)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!