链式法则

复合函数中,一个变量会通过中间变量影响最终结果。链式法则把这条影响路径上各段的局部导数相乘。

最小例子

令 u=2x+1u=2x+1,y=u2y=u^2,则:

dydx=dydududx=2u⋅2=4(2x+1)\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}=2u\cdot2=4(2x+1)

多条路径同时影响结果时,要把各条路径的贡献相加。神经网络的反向传播就是沿计算依赖传递并汇总这些梯度。

在项目里怎样验证

先手算一个只有两三步运算的函数,再用有限差分或自动求导核对结果。注意区分函数值、局部导数和传回上一层的梯度。

我的理解与问题

后续补充自己的推导、矩阵求导练习与仍不熟悉的部分。

应用于项目

手写数字识别 从 NumPy 核心实现到 PyTorch 对照,按六阶段组织手写数字识别的模块、知识与实践。