环境与数据
状态:待开始。 先能看见数据、解释数据,再开始建模。返回项目 Index
这一部分要回答什么
- 图片文件、解码后的数组、Tensor 有什么区别?
- 一张图与一个 batch 的形状分别是什么?
- 标签为什么是类别编号,而不是另一张图片?
- Dataset、DataLoader、训练集、验证集和测试集分别负责什么?
输入与输出
输入是本机 Python 环境与 MNIST 原始数据。输出是可复现的环境信息、固定的数据划分,以及能展示和迭代图片 / 标签的数据入口。
动手任务
- 建立项目独立虚拟环境。用 PyTorch 安装选择器 按本机系统和设备选择安装方式,先确保 CPU 可运行。
- 记录 Python、torch、torchvision 版本、操作系统、GPU 型号与驱动信息(若有)、实际使用的 device;保存依赖清单。
- 用 torchvision MNIST 读取数据,核对数量、类别范围和样本格式。
- 展示 25 张图片及标签,再挑一张打印 shape、dtype、最小 / 最大值。记录检查发生在变换之前还是之后。
- 从原训练部分固定划分训练 / 验证子集,例如 55,000 / 5,000;保留原测试集。保存划分索引,检查数量、重叠和类别分布。
- 构造 DataLoader,查看一个完整 batch 与最后一个可能较小的 batch。先用
num_workers=0排清基本问题,再单独研究多进程加载。
Windows 下增加 DataLoader worker 时,要理解独立脚本的主入口保护与进程启动方式。先读 数据加载教程,不要把加载问题与模型问题混在一起排查。
完成标准
- 独立进程可以导入依赖并读出样本
- 能解释灰度图
[1,28,28]和批次[B,1,28,28] - 能确认标签的取值、形状和类型
- 训练 / 验证索引无重叠,测试集没有参与划分与调参
- 同一份划分可重复加载,样本网格和环境记录已保存
固定随机种子有助于复现,但不保证跨平台、跨版本完全一致。后续实验同时保留配置与版本,参考 PyTorch 可复现性说明。
我的实践记录
待补充:环境与安装选择、数据观察、划分方案、代码位置、遇到的问题与验证截图。
下一步:02 · 图片预处理