本文主要是介绍第九十一周周报,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
学习目标:
论文
学习时间:
2024.6.8-2024.6.14
学习产出:
一、Consistency Models
扩散模型依赖于迭代采样过程导致生成缓慢,由此提出一致性模型,其可以直接将噪声映射至数据从而生成高质量样别。
根据给定的ODE,可以将数据平滑的转换为噪声,简单来说就是从原始图像到某个加噪图像,每一个步骤加的噪声都是特定的,一旦轨迹确定了,则对应的加噪图像也会被确定,反之亦然。与Diffusion Model的随机采样不同,Consistency Model 要求训练出来的模型对于一个采样路径上的每个点都保持 consistency,即预测结果保持一致。
假设存在函数f,对于图像去噪的每个点,f都能输出一个相同的值:
对于轨迹起点X0 = ϵ,有
轨迹中的任意一点带入先验分布可得到
从而完成了一步采样。因此可以使用神经网络拟合函数f:
其中 和为可微函数,且 ,
上述内容在训练时必须满足是在ODE轨迹上,训练过程如下:
采用过程如下:
为了提升图像采样质量,可以使用多步采样。
实验结果如下:
二、实习
目前项目已经完成不同格式流到rtsp流的转换,并往旷视的Ai盒子推流,这两天把保存数据的完成就可以完成初步的demo。
这篇关于第九十一周周报的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!