深度学习中常用的激活函数 1. Sigmoid函数2. Tanh函数3. ReLU函数4. LeakyReLU函数5. PReLU函数6. ELU函数：7. GELU函数： 深度学习中常用的激活函数有sigmoid、tanh、ReLU、LeakyReLU、PReLU等。 1. Sigmoid函数 Sigmoid函数公式为 f ( x ) = 1 1 + e − x f(x)=

nn.LeakyReLU 是PyTorch中的Leaky Rectified Linear Unit（ReLU）激活函数的实现。Leaky ReLU是一种修正线性单元，它在非负数部分保持线性，而在负数部分引入一个小的斜率（通常是一个小的正数），以防止梯度消失问题。这种激活函数的数学表达式如下： negative_slope：x为负数时的需要的一个系数，控制负斜率的角度。默认值：1e-2(0.01