本文主要是介绍为什么说ReLU是非线性激活函数,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
线性整流函数(Rectified Linear Unit, ReLU),又称修正线性单元,是一种人工神经网络中常用的激活函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。它的图像如下所示:
一直不明白为什么说ReLU函数是非线性激活函数,因为看起来就是一个线性的函数,今天查了一下,虽然仍然不是很明白,但是比以前要有深一点的理解主要是参考了一下连接:
relu函数为分段线性函数,为什么会增加非线性元素 - 滴答-sou - 博客园 (cnblogs.com)
ReLU激活函数:简单之美_对半独白-CSDN博客_relu函数
relu是分段线性函数_一路向北-CSDN博客_relu函数是线性的吗
还有知乎上面一个用户的回答:
relu的两个分段函数,分段来看,确实是线性,组合在一起,整体却不是线性的。之前从国外的一个博客看到的解释,一时找不到链接,幸好保存了几张截图,大概说明下:线性在二维空间中的定义是一条直线能够将平面空间划分,如下图所示:
当加了一个relu之后:
当几个ReLU函数组合到一起的时候,就变成非线性的:
我认为还是取决于输入 如果输入导致后面的输入大部分都是正的 哪relu可能就会表现出线性,但只要有负的,传递过程就会变得非线性 而且负的越多 非线性程度就越大(所以浅层的一般不用relu) 正因为出现负的这种可能性 relu才表现出他的非线性功能。
这篇关于为什么说ReLU是非线性激活函数的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!