之前在学蒸馏的时候接触了gumbel-softmax，顺势了解了一下重参数技巧，还是很有意思的一个东西 引入 重参数技巧主要是尝试对这样形式的一个东西求梯度 L θ = E z ∼ p θ ( z ) [ f θ ( z ) ] ( 1 ) \large L_{\theta} = E_{z\sim p_{\theta}(z)}[f_{\theta}(z)] \quad \quad(1) Lθ

重参数化（Reparameterization）的原理 重参数化是变分自编码器（VAE）中用来解决可微分性问题的一种技术。在VAE中，我们的目标是最大化观测数据的边缘对数似然，这涉及到一个隐含变量 z z z的积分或求和。因为隐含变量是从某个分布中采样的，这直接导致了当我们尝试使用梯度下降方法优化VAE的参数时，由于采样操作的随机性，无法直接对其求导。 重参数化技巧通过将随机采样过程转换为确定

“Reparameterization trick”（重参数化技巧）是一种在训练生成模型中处理随机性潜在变量的方法，特别常见于变分自动编码器（VAE）等模型中。这个技巧的目的是使模型可微分（differentiable），以便使用梯度下降等反向传播算法来训练模型，也就是将随机采样的过程转换为可导的运算，从而使得梯度下降算法可以正常工作。 以下是它的基本原理和操作： 背景：在生成模型中，通常会有