激活函数是一种函数，用于决定人工神经网络中单元或层的输出。它通常作用于输入的加权组合与偏置之和。非线性激活函数使网络能够表示仅靠仿射变换无法表达的关系；输出层的激活函数则可以将预测结果限制在特定范围内，或使其符合特定的概率分布。激活函数的数学性质既影响网络的表征能力，也影响深度学习中的学习过程。(deeplearningbook.org)
数学形式与作用
对于典型的单元，其计算过程为
[ z=\sum_{i=1}^{n}w_i x_i+b,\qquad a=\phi(z), ]
其中，(x_i) 为输入，(w_i) 为权重，(b) 为偏置，(z) 为预激活值，(\phi) 为激活函数。对于全连接层，这一计算写作 (\mathbf a=\phi(W\mathbf x+\mathbf b))，其中 (W) 为权重矩阵。大多数隐藏层激活函数独立作用于各个分量，但也有一些函数会将多个分量耦合起来。(deeplearningbook.org)
在多层感知机中，如果连续的仿射变换之间没有非线性运算，那么这些变换可以合并为一个仿射变换。例如，
[ W_2(W_1\mathbf x+\mathbf b_1)+\mathbf b_2 =(W_2W_1)\mathbf x+W_2\mathbf b_1+\mathbf b_2. ]
因此，仅仅增加这样的层并不能赋予网络非线性表达能力。非线性激活函数使隐藏表征能够改变输入空间的几何结构，从而支持表征学习，而不只是反复进行线性预测。(en.d2l.ai)
主要的标量函数
恒等函数与阈值函数。 恒等激活函数 (\phi(z)=z) 保持输入不变，适用于需要不受约束的实数输出的场景。阈值激活函数则根据输入是否越过阈值，返回两个值中的一个。经典的感知机采用阈值判定，但阶跃函数在不连续点以外的导数均为零，因此不适合常规的基于梯度的训练。(deeplearningbook.org)
逻辑斯蒂 sigmoid 函数。 逻辑斯蒂函数在神经网络语境中通常称为 sigmoid 函数，其表达式为
[ \sigma(z)=\frac{1}{1+e^{-z}}. ]
它将有限的实数输入映射到 ((0,1))，其导数为 (\sigma(z)(1-\sigma(z)))。其输出有界，因此可用于输出概率形式的预测结果，逻辑回归便是一个例子。当输入为较大的正数或绝对值较大的负数时，函数会进入饱和区，导数趋近于零。(en.d2l.ai)
双曲正切函数。 双曲正切激活函数将输入映射到 ((-1,1))，其导数为 (1-\tanh^2(z))。与 sigmoid 函数不同，它的输出范围关于零对称。它在两端也会进入饱和区，因此导数可能变得很小。(en.d2l.ai)
修正线性单元。 修正线性单元（ReLU）的表达式为
[ \operatorname{ReLU}(z)=\max(0,z). ]
负输入对应的输出为零，正输入对应的输出则呈线性变化。其导数在负半轴上为零，在正半轴上为一；由于零点处的通常意义下的导数不存在，具体实现会采用约定值。如果一个单元对所有相关输入都始终处于负半轴，那么就不会有梯度通过其激活函数传递，这种现象常称为“ReLU 死亡”。(deeplearningbook.org)
带泄漏与参数化的修正线性函数。 带泄漏的 ReLU（Leaky ReLU）将负半轴分支替换为 (\alpha z)，其中斜率通常为较小的正数。参数化 ReLU（PReLU）则通过学习确定这一斜率，而不是将其固定。当 (\alpha\ne0) 时，这些变体在负输入处仍保有非零导数。PReLU 于 2015 年的一项研究中提出，该研究还开发了适用于修正线性网络的初始化方法。(arxiv.org)
平滑变体与指数变体
指数线性单元（ELU）对于非负输入取值为 (z)，对于负输入取值为 (\alpha(e^z-1))，其中 (\alpha>0)。它在保留正半轴线性分支的同时，允许输出负值。其负半轴分支会趋向 (-\alpha) 并进入饱和区。(arxiv.org)
高斯误差线性单元（GELU）于 2016 年提出，其表达式为
[ \operatorname{GELU}(z)=z\Phi(z), ]
其中，(\Phi) 为标准正态分布的累积分布函数。GELU 不像 ReLU 那样根据输入的正负进行硬截断，而是用 (\Phi(z)) 对输入进行连续加权。具体实现可以使用其精确表达式，也可以使用近似式。(arxiv.org)
Sigmoid 线性单元（SiLU）的表达式为 (z\sigma(z))，采用这一形式时也称为 Swish。它平滑且非单调，有下界但无上界。这些函数在平滑性、饱和特性、输出范围和计算成本等方面有所不同；非线性并不要求函数具有单调性或有界性。(keras.io)
输出层激活函数与概率
输出层激活函数的作用不同于隐藏层中的非线性函数。对于互斥的类别，Softmax函数将一个得分向量转换为各分量均为正且总和为一的向量：
[ p_i=\frac{e^{z_i}}{\sum_j e^{z_j}}. ]
与逐元素作用的激活函数不同，输出的每个分量都依赖于所有输入得分。一个 sigmoid 函数可以表示二分类的概率，多个独立的 sigmoid 函数则可以表示不必互斥的多个标签。恒等输出适用于无约束的回归任务，包括使用均方误差训练的模型。(keras.io)
激活函数与损失函数必须结合起来理解。软件库可能将 sigmoid 函数与二元交叉熵合并为一个数值稳定的运算，并以原始得分作为输入。在这种情况下，若在计算损失之前显式应用 sigmoid 函数，就会重复执行这一变换。(docs.pytorch.org)
与训练的相互影响
反向传播利用链式法则，通过激活函数的导数传递梯度。反复乘以较小的导数可能加剧梯度消失问题，尤其是在由处于饱和区的单元构成的深层网络中。激活函数的行为也与权重初始化相互影响：2010 年的一项研究分析了饱和现象以及梯度在各层之间的传播，随后又出现了专门针对修正线性函数的初始化方法。因此，激活函数的选择会与权重尺度、网络深度共同影响优化过程，而不是独立于这些因素起作用。(deeplearningbook.org)
激活函数不一定是固定的标量公式。PReLU 包含通过学习得到的参数，而门控线性单元则将输入分为两部分，并计算 (a\odot\sigma(b))，其中 (\odot) 表示逐元素乘法。因此，软件库既支持简单的可调用激活函数，也支持能够维护可训练状态的专用激活层。(arxiv.org)