什么是ReLU函数？
ReLU函数是定义为f(x)=max(0,x)的数学函数，其中x是任意实数。简单来说，如果x小于或等于0，则函数返回0。否则返回x。
ReLU函数的连续性和可微性
对于可微分的函数，它必须首先是连续的。ReLU函数满足这个要求，因为它是连续的。但是，ReLU函数的导数在x=0时不存在。这意味着此时ReLU函数不可微。
那么为什么深度学习中仍然使用ReLU函数呢？
尽管ReLU函数在x=0时不可微，但我们仍然可以在梯度下降的帮助下将其用于深度学习。梯度下降是一种优化算法，用于最小化深度学习中的成本函数。当在x=0处未定义ReLU函数的导数时，我们将其设置为0或任意值并继续优化过程。
总的来说，ReLU激活函数由于其简单、计算效率高以及能够提高训练的收敛性，已成为深度学习网络中最流行的激活函数之一。虽然它在x=0处不可微，但这并不妨碍它在梯度下降中的应用，因此ReLU函数是机器学习领域的多功能且强大的工具。
ReLU函数的优点
1.计算简单。
整流器函数实现起来很简单，需要一个max()函数。
2.代表性稀疏性
能够输出真正的零值。这意味着负输入可以输出真零值，从而允许神经网络中隐藏层的激活包含一个或多个真零值。这称为稀疏表示，是表示学习中的理想属性，因为它可以加速学习并简化模型。
3.线性行为
整流器函数在外观和行为上大多类似于线性激活函数。通常，当神经网络的行为是线性或接近线性时，它更容易优化。
