ECCV 2022 Diffusion models最新研究成果：熵约束算法解决梯度消失问题

本文主要是介绍ECCV 2022 Diffusion models最新研究成果：熵约束算法解决梯度消失问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言：最新的ECCV 2022有很多关于扩散模型精彩的工作，今天和大家一起学习一下浙大最新的工作：用熵驱动引导扩散模型。这篇论文重点针对分类器引导扩散模型时梯度过早消失的问题，在采样过程中，引入预测分布熵作为制导消失程度的度量，提出了一种熵感知的尺度变换方法来自适应恢复条件语义制导。

由于分类器仅能对生成不完全的高阶结构图像进行容易的区分，梯度作为一种类信息引导倾向于早期消失，导致由条件生成过程崩溃为无条件生成过程。为了解决这个问题，我们从两个角度提出了两个简单而有效的方法。在采样过程中，引入预测分布熵作为制导消失程度的度量，提出了一种熵感知的尺度变换方法来自适应恢复条件语义制导。在训练阶段，我们提出熵感知优化目标，以缓解对噪声数据的过度自信预测。