Softmax 与交叉熵

分类模型先输出各类别的原始分数 logits。Softmax 将它们转换为总和为 1 的类别分布;整数标签交叉熵衡量模型赋给正确类别的分布值。

两个基本表达式

pi=ezi∑jezj,L=−log⁡pyp_i=\frac{e^{z_i}}{\sum_j e^{z_j}},\qquad L=-\log p_y

实际计算 Softmax 时可以先减去最大的 logit,避免直接计算很大数的指数。这个平移不改变最终分布。

与 PyTorch 接口的关系

使用整数标签时,CrossEntropyLoss 直接接收原始 logits 和类别编号,不需要预先调用 Softmax。Softmax 可以在展示类别分布时单独使用。见 CrossEntropyLoss 文档。

在数字识别中,一个 batch 的 logits 为 [B,10],标签为 [B]。最大分布值不保证输入一定是有效数字,仍需单独处理空白输入与分布差异。

在项目里怎样验证

检查分布和是否接近 1、加入相同常数前后的结果是否一致,并用较大的 logits 检查数值稳定性;梯度实现再用固定样本作数值对照。

我的理解与问题

后续补充自己的稳定实现、梯度推导和实验记录。

应用于项目

手写数字识别 从 NumPy 核心实现到 PyTorch 对照,按六阶段组织手写数字识别的模块、知识与实践。