1. gumbel_softmax有什么用呢? 假设如下场景: 模型训练过程中, 网络的输出为p = [0.1, 0.7, 0.2], 三个数值分别为"向左", “向上”, "向右"的概率。 我们的决策可能是y = argmax§, 也即选择"向上"这条决策。 但是，这样做会有两个问题: argmax()函数是不可导的。这样网络就无法通过反向传播进行学习。argmax()的选择不具有随机性。同

Argmax是不可求导的，Gumbel Softmax允许模型能从网络层的离散分布（比如类别分布categorical distribution）中稀疏采样的这个过程变得可微，从而允许反向传播时可以用梯度更新模型参数。 算法流程 对于某个网络层输出的 n \mathrm{n} n 维向量 v = [ v 1 , v 2 , … , v n ] v=\left[v_1, v_2, \ldots

本文主要针对Gumbel分布的概念和概率密度函数的求取。 写这个帖子的原因是最近科研的时候，看到以前的一个救我的帖子，害我不浅。赶紧来补救一下。 原文链接如下 Matlab中极值I型分布(Gumbel分布)的evcdf和evpdf及evinv函数_leo2351960的博客-CSDN博客_极值i型分布函数 我是做结构可靠性分析的，日常中遇到的Gumbel分布都是最大值型的，最小值型的就用M