基于Diffusion Model的数据增强方法应用——毕业设计 其四

1 题目简介

笔者个人的毕业设计课题如下：

简介：使用预训练的Diffusion Model图像生成模型生成图像，将这些生成的图像作为扩充训练集加入到2D目标检测器、2D图像分类器的训练过程。深度学习是数据驱动的，随着数据量的扩充，能够提高检测器、分类器的鲁棒性、准确性。
建议的baseline:
分类：ResNet
检测：YOLO

可以看到，给的题目难度还是比较轻松的；本次毕设的全过程会以周为单位采用博客的形式记录下来。

2 前言

在完成上周的内容后，本周的内容将会主要聚焦于以下两点
其一，学习和分析不同scheduler对扩散模型本身带来的影响，本篇博客主要聚焦于PNDM 和 DDIM 两者上。
其二，将上周还没来得及尝试的img2img，也即图片转图片的模式进行探索。

3 scheduler

scheduler不是optimizer的，而是负责整个Diffusion model的forward和backward传播的，它的主要功能是在根据设定好的数学规则和timestep的数量，在训练和推理阶段，处理模型的输出结果。一般的scheduler主要实现两个功能函数：add noise和step。scheduler 有很多种实现方式，除了著名的 DDPM 和 DDIM 以外，还有若干其它备选 schedulers，包括 Euler 和 PNDM 等等。

也就是上图红圈部分

同时附上论文下载地址：https://arxiv.org/abs/2112.10752
本篇发表在CVPR2022上

3.1 DDIM

DDIM发表在ICRL2021上，是DDPMR重要的改进之一，能显著提高DDPM的样本质星、减少采样时间，并且已经被广泛应用到现在的Diffusion Models上。

同样，这里先附上论文下载地址：https://arxiv.org/abs/2010.02502

DDPM是基于Markovian扩散过程的模型，虽然在生成模型上取得了不错的效果，但是同时也存在一个大缺点，就是由于在重建生成阶段是需要一步步进行，步数通常为2000，导致推理时间非常长，需要多次迭代才能产生高质量的生成样本。

上图的公式中已经给出了本算法的核心内容，包括注释部分我也一起从论文中截出来了，其中公式主要分为三个部分，第一个部分是在第步预测的，即在预测的；第二部分是基于采样的噪声；第三部分是加上一个随机的噪声扰动。从上面的公式可以得到当，时，也就是说不是固定的t和t-1的关系，可以从任意的推理得到。区别于DDPM中只能一步步进行逆重建，DDIM可以重建至任意步，于是可以加速重建过程。比如，在t=2000时，对于DDPM模型必须得计算2000次，然而对于DDIM模型来说，可以每100步做一次计算，只用计算20次就够了，加速了100倍，当然重建的图片也会相应损失质量。

原论文中一样做了步数和噪声程度的实验，图标的说明中提到，n=0.0和=1.0时代表的是第t步的添加的随机噪声为0或是1，0指的就是DDIM模型；反之当为1时，就是DDPM模型，这也说明了DDIM模型就是一个隐式概率模型，也就是其后会推导出一个确定的结果，在语义上基本不会有区别，反之由于DDPM模型需要加入了随机的噪声，所以最后的结果会具有随机性。

同样作者也在2080ti的环境上做了不同stpes所需要的时长

如作者在下面说明的那样，steps的量级越大，人眼能直观看到的细节信息也更清楚

3.1.1 实际运行测试

在差不多了解了上面的理论知识以后，我们可以回到实验本身，关于模型接口使用的文档，可以看下面这条链接

https://huggingface.co/docs/diffusers/using-diffusers/schedulers#load-pipeline

可以看到除了DDIM和PNDM以外，还有很多别的Scheduler可以供选择

接下来回到实验部分，由于上次已经展示过怎么跑模型，这里就不做赘述了，直接展示结果

注意，输入的语句是【knight in the forest】 也就是森林中的骑士

3.2 PNDM

同样的，先把论文的地址放在这：https://arxiv.org/abs/2202.09778

Pseudo Numerical Methods for Diffusion Models on Manifolds同样是发表在ICLR上的论文，只是发表时间是2022

PNDM则将工作聚焦于一个新的问题，去噪扩散概率模型（DDPM）可以生成高质量的样本，如图像和音频样本。然而，DDPM需要数百到数千次迭代才能产生最终样本。几个先前的工作已经通过调整方差表（例如，改进的去噪扩散概率模型）或去噪方程（例如，去噪扩散隐式模型（DDIM））成功地加速了DDPM。然而，这些加速方法不能保持样本的质量，甚至在高加速率下引入新的噪声，这限制了它们的实用性。为了在保持样本质量的同时加快推理过程，PNDM提出了在DDPM应被视为流形上的微分方程的求解。
具体来说，本篇工作找出了如何求解流形上的微分方程，并表明DDIM是伪数值方法的简单例子。工作中将几种经典的数值方法改为相应的伪数值方法，并发现伪线性多步方法在大多数情况下是最佳的。根据论文中的实验，通过在Cifar10、CelebA和LSUN上直接使用预训练的模型，PNDM仅用50步就能生成更高质量的合成图像，而1000步DDIM（20倍加速），显著优于250步的DDIM（FID约0.4），并且在不同的方差调度上具有良好的泛化能力。

如图展示了分别使用5、10、20、50和100steps时使用DDIM、经典数值方法和PNDM生成结果。

与DDIM不同的时，PNDM中将几种经典的数值方法改为相应的伪数值方法，其数学的公式正如上图所示。

同样，本篇一样做了如上图所示的实验这里使用RTX3090上的50步512批量实验来测试计算成本，列时间是以秒为单位的每步平均计算成本。

3.2.1 实际运行测试

关于如何选择模型，上面的3.1.1部分已经有过说明，这里就不重复了

直接把和刚才一样的关键词【knight in the forest】丢入

4.回到img2img

上周的博客中有提到，因为上次做到最后已经是接近午夜了，所以匆匆忙忙跑了一下txt2img就结束了

本周会继续进行上次没有完成的部分，在img2img上进行尝试

首先看看官方给出的参数说明

依照给的说明输入参数就好
这里仅是为了实验，传入图片为摩托

python scripts/img2img.py --prompt "motorcycle" --init-img img/4.jpg --strength 0.8

输入如上代码
这里提一句，strength参数代表的是添加到输入图像的噪声量。 接近 1.0 的值允许很多变化，但也会产生与输入在语义上不一致的图像。
第一次报错如下

本来以为会有自动的resize，结果没有
所以直接去图片目录手动resize就好

这里是git上关于图片大小的问题，这里就重设成512*512

修改后成功运行无报错

这里仅为了实验，以这张图片为例，分别测试strength为0.4和0.8时各两张的结果

经过resize原图的尺寸稍微有点变形，反正只是测试无伤大雅

strength0.8的结果

strength0.4的结果

5.总结

本周本来计划的还有做一个简单的应用程序或者APP等，可以输入程序所需的输入参赛，然后显示结果；但是这部分内容由于笔者最近疲于准备春招的面试，所以暂时还未完成；如果可以的话会尽量在后续补完。