评估与保存
状态:待开始。 让结果可信,也让模型下次还能用。返回项目 Index
这一部分要回答什么
- 总准确率之外,还应该看什么?
- 验证集与测试集为什么分开?
eval()和关闭梯度记录为什么不是一回事?- 只保存权重为什么还不足以描述整个识别流程?
输入与输出
输入是训练过程中的候选权重和固定评估数据。输出是选定的权重、配套配置、最终测试报告、错分分析和重载对照结果。
动手任务
- 验证时调用
model.eval(),在no_grad()或inference_mode()下计算。确认没有意外优化器更新。 - 记录平均 loss、总准确率、每类样本数与正确率;画混淆矩阵,标清横纵轴是真实还是预测类别。
- 展示一组错分图、真实标签和预测值。区分模糊字形、输入处理问题与模型欠拟合 / 过拟合。
- 按预先确定的验证指标选最佳权重,保存独立快照。固定方案后在原测试集做最终评估。
- 保存
state_dict、结构、类别映射、预处理配置、依赖版本与实验配置;需要续训时再加优化器、训练位置与随机状态等信息。 - 重开独立进程重建并加载模型,对固定样本比较重载前后输出。记录设备与数值误差,再检查预测是否一致。
保存与加载以 PyTorch 官方说明 为准。模型结构与输入处理也要随版本保存。图表可用本站 Matplotlib;如果使用 scikit-learn,混淆矩阵接口见 官方文档。
完成标准
- 最佳权重依据验证集选择,测试集没有参与反复调参
- 报告包含配置、划分、指标和代表性错分图
- 评估前后模型参数未改变
- 独立进程可以重载,固定输入输出在合理容差内一致
- 能区分“用于推理的保存包”和“用于续训的 checkpoint”
我的实践记录
待补充:最佳轮次与选择理由、最终报告、混淆矩阵、典型错误、保存内容、重载对照和结论。
下一步:06 · 识别自己的数字