反向传播

反向传播沿前向计算形成的依赖关系,把损失对输出的梯度逐层传回,得到每个可学习参数的梯度。

放回训练流程理解

前向传播计算预测和损失;反向传播计算梯度;优化器依据梯度更新参数。PyTorch 中常见的 loss.backward() 和 optimizer.step() 对应后两项,职责不同。

如果同一参数通过多条路径参与损失计算,它收到的梯度需要相加。普通按批训练还要处理梯度清零,避免无意累积上一批的结果。见 PyTorch 自动求导教程。

在项目里怎样验证

  1. 选择一个小型 MLP,写出每层的输入、输出和梯度形状。
  2. 在固定输入和权重下,比较手写梯度与数值差分。
  3. 使用相同输入和权重,与 PyTorch 自动求导作对照。
  4. 检查小样本能否明显过拟合,再研究完整训练表现。

我的理解与问题

后续补充自己的推导、实现位置、梯度检查结果和错误分析。

前置知识

链式法则 复合函数的导数怎样沿依赖关系传递,是理解反向传播的基础。

应用于项目

手写数字识别 从 NumPy 核心实现到 PyTorch 对照,按六阶段组织手写数字识别的模块、知识与实践。