没有激活函数，多层网络等价于单层线性变换。ReLU 缓解梯度消失，Sigmoid 将输出压缩到 (0,1)，Softmax 将向量转为概率分布。
机器学习核心 · 第 2 章路径 5/8本章完成 0%前向传播反向传播激活函数
可用 ← → 键切换主题
激活函数
非线性 · 梯度流动
Softmax 输出（三类）
62.9%
23.1%
14.0%
神经网络检查点
学完演示后来检验一下。全部答对即可标记本章测验通过。
1. 没有非线性激活时，深层网络会怎样？
2. 反向传播计算的是？
3. ReLU(x)=max(0,x) 的优点之一是？
与 AI 的联系
- 反向传播：对前向计算图反向求导，高效更新百万级参数。
- 深度：多层堆叠学习层次化特征，浅层边缘、深层语义。
- 框架：PyTorch 的 autograd 自动完成求导。