Differential Diffusion，赋予每个像素它应有的力量，以及在comfyui中的测试效果

本文主要是介绍Differential Diffusion，赋予每个像素它应有的力量，以及在comfyui中的测试效果，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

🥽原论文要点

首先是原论文地址：https://differential-diffusion.github.io/paper.pdf

其次是git介绍地址：GitHub - exx8/differential-diffusion

感兴趣的朋友们可以自行阅读。

首先，论文开篇就给了一个例子：

我们的方法根据给定的图片和文本提示，以不同的程度改变图像的不同区域。这种可控性允许我们再现渐进的过程（例如，左下角的火），并且能够在不同编辑强度之间无缝融合。

引导用的提示词从左到右分别是：“海底的生命之树”，“云端之上的宫殿”，“3D深度外太空星云背景”，“火”，“彩虹的异想天开的插图”，“幻想艺术”。

从这个开篇例子就可以看出，这个算法可以实现图像重绘过程中，更好的调整重绘画面与原图的融合程度。

这种对变化量的精细控制开启了多种新的编辑能力，例如控制单个对象被修改的程度，或者引入逐渐的空间变化的能力。此外，这篇文章展示了框架在软修复方面的有效性——在确保无缝集成的同时微妙调整周围区域以完成图像的部分。

同时，这个框架仅在推理期间运行，不需要模型训练或微调。

原作者提出的一个重要洞察是，在扩散的推理过程中选择性地在不同的时间步骤修改各个区域，我们可以在空间基础上控制对原始图像的忠实度。

以在照片的树林区域引入野火为例。由于火是连续的现象，我们不希望进行突然和完全的转变，例如用烧焦的树桩替换所有树木。相反，我们希望以可控的方式在照片中的不同区域引入不同程度的火势（图1右下角）。

论文中很重要的一个思路可以用这张图来概括：

随时间的分解。观察变化图如何决定推理过程——区域越暗，越早从残留中复制。或者换句话说，区域越暗，画面中添加的噪声越多，而画面越浅，推理的时候参与的时间越靠后，同时还会从原图中取得信息进行参与计算和推理。

看一组图片：

嵌套掩码的消融研究。我们的结果显示了更复杂的内容，与场景融合得更好，且模糊度更低。注意过渡（第一行：墙上的锐利过渡）和位置（第二行：建筑物位于湖中）的差异。每一行的种子是固定的。提示词分别为：“一幅精美的艺术画作”，“一个城市天际线...”。

推理过程的示意图。

顶部：当前时间步骤的原始图像添加噪声。

底部：扩散模型去噪的中间图像。箭头附近的掩码表示从每张图片复制的区域。跟随箭头来识别原始来源对输出图像的影响，并观察其与分解掩码和变化图的相关性。提示是“哥特式绘画”。

文中提到一种比较重要的技术是“软修复”

没有柔化的修复有时会因为与周围背景在风格和光照上的明显差异而显得不自然地叠加。"软修复"是在完成画面部分的同时轻轻修改周围区域以保证平滑融合的过程。我们扩展了我们的框架以支持软修复，允许用户输入一个二进制掩码和一个标量值来确定过渡的柔和度。我们根据柔和度参数对掩码进行高斯模糊，将其转换成变化图，然后由我们的标准框架处理。与以前的方法相比，我们的方法实现了更优秀的软修复编辑（如上图）。

文中提到第二个必要重要的技术是“强度扇”

在使用扩散模型编辑图像时，找到保留某些元素和改变其他元素之间的完美平衡可能是一个挑战。通常，选择正确的编辑强度可能并不直观，尤其是因为最佳设置会因输入提示和图像的不同而变化。为了简化这个过程，我们提出了一个名为“强度扇”的新可视化工具。这个扇形是一个修改后的图像，通过将其划分为多个列来创建，每个列都以不同的强度级别进行编辑。这使用户能够同时观察多个强度设置，从而简化了比较和调整编辑强度的任务（见上图）。

论文中提到的，重点就是以上这些了。

那么实际测试效果会如何呢？

🥟实测效果

先搭建一组测试节点。

比较简单，相信学过基础课程的朋友都能自己手动搭出来。

（如果还没学过的可以看下文章最后的链接，感谢大家支持先~~~~~😄）

提示：一朵玫瑰

提示：粉色的云彩；

粉色猫头的瓶盖

金色瓶盖

在雨林中（选择了背景）

总体来说，效果还可以，比默认的好，比上次推荐的brushnet，貌似没那么惊艳。

如果有局部重绘的场景，不妨试试看。

好了，记得点赞点关注哦，感谢大家的支持~~~~~

✨写在最后

如果对comfyui还不熟悉的话，最近面向ComfyUI的新手，写了一门系统性入门图文课程，现在已经更新完成了，内容主要包括如何下载软件、如何搭建自己的工作流、关键基础节点讲解、遇到报错怎么解决等等，如果大家在学习过程中遇到什么问题，也可以直接对应的文章下留言，会持续更新相关答疑内容哈。欢迎订阅哦~

https://blog.csdn.net/jumengxiaoketang/category_12683612.html