1、严格来说的话 ReLU算是分段线性函数。中间隐层激活函数采亮孝用线性函数（盯岁例如恒等变换凯键睁）不好是因为，最后算下来多层网络跟单层网络一个效果。其实 激活函数的存在是为了神经网络更好的拟合目标函数而已。2、ReLU比sigmoid和tanh好是因为它的收敛速度快（sigmoid、tanh函数在自变量比较大的时候 导数很小，采用梯度下降法 变化缓慢，特别是多层网络 就更慢了）,计算量比较小（只需要一个阈值进行比较 而不需要做函数运算）。
神经网络中ReLU是线性还是非线性函数？如果是线性的话为什么还说它做激活函数比较好？
Simone
发布于 2024-02-18 11:44:50
611 阅读
