Softmax 与交叉熵
分类模型先输出各类别的原始分数 logits。Softmax 将它们转换为总和为 1 的类别分布;整数标签交叉熵衡量模型赋给正确类别的分布值。
两个基本表达式
实际计算 Softmax 时可以先减去最大的 logit,避免直接计算很大数的指数。这个平移不改变最终分布。
与 PyTorch 接口的关系
使用整数标签时,CrossEntropyLoss 直接接收原始 logits 和类别编号,不需要预先调用 Softmax。Softmax 可以在展示类别分布时单独使用。见 CrossEntropyLoss 文档。
在数字识别中,一个 batch 的 logits 为 [B,10],标签为 [B]。最大分布值不保证输入一定是有效数字,仍需单独处理空白输入与分布差异。
在项目里怎样验证
检查分布和是否接近 1、加入相同常数前后的结果是否一致,并用较大的 logits 检查数值稳定性;梯度实现再用固定样本作数值对照。
我的理解与问题
后续补充自己的稳定实现、梯度推导和实验记录。