DENOISING DIFFUSION IMPLICIT MODELS(DDIM 去噪扩散隐式模型公式推导)

本文主要是介绍DENOISING DIFFUSION IMPLICIT MODELS(DDIM 去噪扩散隐式模型公式推导)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

DENOISING DIFFUSION IMPLICIT MODELS(DDIM 去噪扩散隐式模型公式推导)

DDIM思想，去掉DDPM去噪过程的马尔可夫性质，达到跳步去噪的目的。DDIM思想实现方法：假设一个不服从马尔可夫的逆向去噪转移分布 $P(x_t \mid x_{t-1},x_0)\sim N(kx_0+mx_t,\sigma^2I)$ 。

推导
$P(x_{t-1}\mid x_t,x_0) = \frac{P(x_t \mid x_{t-1},x_0)\cdot P(x_{t-1}\mid x_0)}{P(x_t\mid x_0)} \tag{1}$
其中 $P(x_t \mid x_{t-1},x_0)$ 由于不服从马尔可夫性质，不能像DDPM一样化简为 $P(x_t \mid x_{t-1})$

现在假设
$P(x_t \mid x_{t-1},x_0)\sim N(kx_0+mx_t,\sigma^2I) \tag{2}$
显示表达为：
$x_{t-1}=kx_0+mx_t+\sigma\epsilon \tag{3}$
由于DDIM的前向加噪过程和DDPM一样，那么：
$x_t = \sqrt{\overline{\alpha_t}}x_{0}+\sqrt{1-\overline{\alpha_t}}\epsilon^\prime \tag{4}$
带入可知：
$\begin{align} x_{t-1}&=kx_0+m(\sqrt{\overline{\alpha_t}}x_{0}+\sqrt{1-\overline{\alpha_t}}\epsilon^\prime)+\sigma\epsilon \\ &=(k+m\sqrt{\overline{\alpha_t}})x_0+(m\sqrt{1-\overline{\alpha_t}})\epsilon^\prime+\sigma\epsilon \\ &=(k+m\sqrt{\overline{\alpha_t}})x_0+\sqrt{m^2(1-\overline{\alpha_t})+\sigma^2}\epsilon ~~~~~~~~~~~(重参数化技巧) \tag{5} \end{align}$
由于：
$x_{t-1} = \sqrt{\overline{\alpha_{t-1}}}x_{0}+\sqrt{1-\overline{\alpha_{t-1}}}\epsilon \tag{6}$

对比公式(5)(6)得到：
$\begin{cases} k+m\sqrt{\overline{\alpha_t}}&= \sqrt{\overline{\alpha_{t-1}}} \\ m^2(1-\overline{\alpha_t})+\sigma^2 &= 1-\overline{\alpha_{t-1}} \tag{7} \end{cases}$
解方程组得到：
$\begin{cases} m &= \frac{\sqrt{1-\overline{\alpha_{t-1}}-\sigma^2}}{\sqrt{1-\overline{\alpha_t}}} \\ k &= \sqrt{\overline{\alpha_{t-1}}} -\sqrt{1-\overline{\alpha_{t-1}}-\sigma^2} \frac{\sqrt{\overline{\alpha_t}}}{\sqrt{1-\overline{\alpha_t}}} \tag{8} \end{cases}$
带入 $m, k$ 得到
$x_{t-1} =\sqrt{\overline{\alpha_{t-1}}}x_0+\sqrt{1-\overline{\alpha_{t-1}}-\sigma^2}\frac{x_t-\sqrt{\overline{\alpha_t}}x_0}{\sqrt{1-\overline{\alpha_t}}} \tag{9}$
利用公式(4)，将公式(9)中的 $x_0$ 由 $x_t$ 表示,那么可以化简为( $\epsilon_\theta(x_t)$ 为公式4中的 $\epsilon^\prime$ )
$x_{t-1} = \sqrt{\overline{\alpha_{t-1}}}(\frac{x_t-\sqrt{1-\overline{\alpha_t}}\epsilon_\theta(x_t)}{\sqrt{\overline{\alpha_t}}})+\sqrt{1-\overline{\alpha_{t-1}}-\sigma^2}\epsilon_\theta(x_t)+\sigma\epsilon \tag{10}$
用 $s$ 表示 $t - 1$ , $k$ 表示 $t$ 得出通用公式：
$x_{s} = \sqrt{\overline{\alpha_{s}}}(\frac{x_k-\sqrt{1-\overline{\alpha_k}}\epsilon_\theta(x_k)}{\sqrt{\overline{\alpha_k}}})+\sqrt{1-\overline{\alpha_{s}}-\sigma^2}\epsilon_\theta(x_k)+\sigma\epsilon \tag{11}$
通过公式(11)实现DDIM去马尔可夫化，跨越多步采样。

DDIM完结

参考：

DDPM推导

简短清晰的DDIM视频讲解

比较白话的DDIM视频讲解

文章信息

发表时间：2021，发表地点：ICLR，作者：Jiaming Song，机构：stanford

@inproceedings{
song2021denoising,
title={Denoising Diffusion Implicit Models},
author={Jiaming Song and Chenlin Meng and Stefano Ermon},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=St1giarCHLP}
}