本文主要是介绍DDIM，多样性与运行效率之间的trade off，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
DDPM的重大缺陷在于其在反向扩散的过程中需要逐步从 x t x_t xt倒推到 x 0 x_0 x0，因此其推理速度非常缓慢。相反，DDPM的训练过程是很快的，可以直接根据 x 0 x_0 x0到 x t x_t xt添加的高斯噪声 ϵ \epsilon ϵ完成一次训练。
为了解决这个问题，就有了DDIM，且包括Stable Diffusion在内的现今广泛使用的Diffusion模型都在使用DDIM。
在DDPM中，我们利用 P ( x t − 1 ∣ x t ) P(x_{t-1}|x_{t}) P(xt−1∣xt)来逐步倒推至最开始的 x 0 x_0 x0，这一过程是遵守马尔可夫过程的，即每个时刻的状态只跟上一个时刻的状态有关，因此只能一步步的倒退回去。而实际上，我们最初就是简化了加噪过程，从 x 0 x_0 x0到 x t x_t xt直接一步到位，并没有使用 P ( x t ∣ x t − 1 ) P(x_t|x_{t-1}) P(xt∣xt−1)这样按部就班的马尔可夫过程。那么，能不能在倒推的时候也采用类似的思路进行“跳步”，从而达到加快推理的目的呢？
假设我们现在想直接从 k k k时刻跳到 s s s时刻，且有 s < k − 1 s<k-1 s<k−1，那么仿照DDPM我们可以写出下列式子
P ( x s ∣ x k , x 0 ) = P ( x k ∣ x s , x 0 ) P ( x s ∣ x 0 ) P ( x k ∣ x 0 ) P(x_s|x_k,x_0)=\frac{P(x_k|x_s,x_0)P(x_s|x_0)}{P(x_k|x_0)} P(xs∣xk,x0)=P(xk∣x0)P(xk∣xs,x0)P(xs∣x0)
其中 P ( x s ∣ x 0 ) P(x_s|x_0) P(xs∣x0)和 P ( x k ∣ x 0 ) P(x_k|x_0) P(xk∣x0)满足的分布都好说，可以从正向扩散公式中得出。不知道怎么表示的这一项 P ( x k ∣ x s , x 0 ) P(x_k|x_s,x_0) P(xk∣xs,x0)因为反正整个模型都没有用过，所以可以先不考虑。（这个解释确实很神奇，但是他有用啊）其实就是说DDIM打破了马尔可夫链从 0 0 0开始逐个往前扩散的模型，而是直接采用从 x 0 x_0 x0到 x t x_t xt的直接公式作为整个模型的backbone，因此从 s s s到 k k k的正向过程可以“按需定义”，而不必采用DDPM里的公式，所以在这里就直接被忽略了。
言归正传，我们尝试求解一下上面的式子。参考DDPM，我们也可以假设 P ( x s ∣ x k , x 0 ) P(x_s|x_k,x_0) P(xs∣xk,x0)是满足正态分布的，其均值为 x k x_k xk和 x 0 x_0 x0的加权和，记为
P ( x s ∣ x k , x 0 ) ∼ N ( n x 0 + m x k , σ 2 ) P(x_s|x_k,x_0)\sim\mathcal{N}(nx_0+mx_k, \sigma^2) P(xs∣xk,x0)∼N(nx0+mxk,σ2)写出 x s x_s xs的表达式
x s = ( n x 0 + m x k ) + σ ϵ , ϵ ∈ N ( 0 , 1 ) x_s=(nx_0+mx_k)+\sigma\epsilon,\epsilon\in\mathcal{N}(0,1) xs=(nx0+mxk)+σϵ,ϵ∈N(0,1)将 x k = α ‾ k x 0 + 1 − a ‾ k ϵ ′ x_k=\sqrt{\overline{\alpha}_k}x_0+\sqrt{1-\overline{a}_k}\epsilon' xk=αkx0+1−akϵ′代入，可得
x s = ( n x 0 + m x k ) + σ ϵ = ( n + m a ‾ k ) x 0 + ( m 1 − a ‾ k ϵ ′ + σ ϵ ) = ( n + m a ‾ k ) x 0 + m 2 ( 1 − a ‾ k ) + σ 2 ϵ ′ ′ \begin{aligned} x_s&=(nx_0+mx_k)+\sigma\epsilon\\ &=(n+m\sqrt{\overline{a}_k})x_0+(m\sqrt{1-\overline{a}_k}\epsilon'+\sigma\epsilon)\\ &=(n+m\sqrt{\overline{a}_k})x_0+\sqrt{m^2(1-\overline{a}_k)+\sigma^2}\epsilon'' \end{aligned} xs=(nx0+mxk)+σϵ=(n+mak)x0+(m1−akϵ′+σϵ)=(n+mak)x0+m2(1−ak)+σ2ϵ′′注意到这个的形式与从 x 0 x_0 x0直接到 x s x_s xs的公式很像，即 x s = α ‾ s x 0 + 1 − a ‾ s ϵ x_s=\sqrt{\overline{\alpha}_s}x_0+\sqrt{1-\overline{a}_s}\epsilon xs=αsx0+1−asϵ，所以我们可以将这两个系数对应起来求解，得
m = 1 − α ‾ s − σ 2 1 − α ‾ k , n = α ‾ s − 1 − α ‾ s − σ 2 1 − α ‾ k α ‾ k m=\frac{\sqrt{1-\overline{\alpha}_s-\sigma^2}}{\sqrt{1-\overline{\alpha}_k}},n=\sqrt{\overline{\alpha}_s}-\frac{\sqrt{1-\overline{\alpha}_s-\sigma^2}}{\sqrt{1-\overline{\alpha}_k}}\sqrt{\overline{\alpha}_k} m=1−αk1−αs−σ2,n=αs−1−αk1−αs−σ2αk将上面的结果带入 x s x_s xs的均值 n x 0 + m x k nx_0+mx_k nx0+mxk，可得
μ = α ‾ s x 0 + 1 − α ‾ s − σ 2 1 − α ‾ k ( x k − α ‾ k x 0 ) \begin{aligned} \mu=\sqrt{\overline{\alpha}_s}x_0+\frac{\sqrt{1-\overline{\alpha}_s-\sigma^2}}{\sqrt{1-\overline{\alpha}_k}}(x_k-\sqrt{\overline{\alpha}_k}x_0) \end{aligned} μ=αsx0+1−αk1−αs−σ2(xk−αkx0)这样我们就求得了 P ( x s ∣ x k , x 0 ) P(x_s|x_k,x_0) P(xs∣xk,x0)满足的正态分布 N ( μ , σ 2 ) \mathcal{N}(\mu,\sigma^2) N(μ,σ2)，其中只剩 σ \sigma σ为变量， x 0 x_0 x0可以像DDPM一样反解为 x k x_k xk的表达式代入，通过预测加噪的噪声来得到一个确定的 μ \mu μ。
至于方差 σ \sigma σ，一般有两种取值，取 0 0 0时方差为 0 0 0，这个反向扩散就成了一个确定过程，对应标题中所说的“多样性换运行效率”，此时 σ = 0 \sigma=0 σ=0的状态就是我们通常所说的DDIM。而 σ = 1 − a t 1 − a ‾ t − 1 1 − a ‾ t \sigma=\frac{\sqrt{1-a_t}\sqrt{1-\overline{a}_{t-1}}}{\sqrt{1-\overline{a}_t}} σ=1−at1−at1−at−1，即在DDPM中推出来的方差时，整个过程会退化为DDPM的倒推过程。
需要注意的是，这里的 σ \sigma σ可以自由取值是因为我们假设 P ( x s ∣ x k , x 0 ) P(x_s|x_k,x_0) P(xs∣xk,x0)是一个均值 μ \mu μ未知，方差为 σ 2 \sigma^2 σ2的高斯分布，通过求解 μ \mu μ得到了一个只有 σ \sigma σ为自由变量的 x s x_s xs的表达式。可以把 σ \sigma σ视作一个超参数，只是通过实验发现在 σ = 0 \sigma=0 σ=0时效果最好。而DDPM中的方差是通过三个已知的正态分布计算来的，本身就是靠计算得来的确定的方差，所以不能随便更改，如果在DDPM的过程中使 σ = 0 \sigma=0 σ=0，效果会非常差。
而从实验结果来看， σ = 0 \sigma=0 σ=0的时候还是效果最好的，FID最低。在 S S S取 50 50 50或 100 100 100，即加速 10 − 20 10-20 10−20倍时保持相近的生成质量。
更妙的是，因为DDPM中的U-Net预测的是加在 x t x_t xt上的噪声 ϵ \epsilon ϵ，这个是基于正向扩散的公式来的。而DDIM并没有改变这一过程，因此一个训练好的DDPM中的U-Net也可以直接拿到DDIM里面，甚至不需要额外训练。DDIM只是更改了DDPM反向扩散的过程，通过跳步加速推理。
这篇关于DDIM，多样性与运行效率之间的trade off的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
