GPU 执行与性能
状态:待开始,属于深入阶段。 使用已经跑通的模型观察执行证据。返回项目 Index
这一部分要回答什么
- 调用 Python 模型时,CPU 和 GPU 分别做什么?
.to('cuda')改变了什么,为什么数据传输也需要时间?- 一个
aten::算子和一个 kernel 是否总是一一对应? - 单张图和大 batch 的性能为什么可能不同?
输入与输出
输入是已验证的模型、固定输入与明确的设备环境。输出是一份分项计时、CPU / GPU 对照,以及能解释的性能 trace。没有兼容的 NVIDIA GPU 时,先完成 CPU 算子观察,CUDA 项保留待做。
动手任务
- 回看 执行链路图。打印模型参数、输入、标签的 device,分别确认数据在哪。
- 以 eager 模式为基线,固定输入、dtype、batch 和权重;先验证 CPU 与可用时 GPU 的结果在合理容差内一致。
- 分开测量加载 / 预处理、CPU→GPU 复制、纯前向、结果取回和端到端时间。测量前预热,重复多次,记录统计口径。
- GPU 计时使用 CUDA Event 或在合适位置同步。理解 Python 提交完成与 GPU 计算完成的区别;参考 CUDA semantics。
- 用 torch.profiler 标记处理区间,记录算子形状、内存与可用时的 CUDA 活动,导出 trace。
- 挑一个卷积或矩阵乘法相关事件,记录 Python 调用、ATen 名称、对应 kernel 与复制 / 同步;底层实现以本次 trace 和当前版本源码为准。
- 比较 batch=1 与更大 batch 的延迟和吞吐量。分别报告测试条件,解释初始化、传输和启动开销,不预设 GPU 一定更快。
先用 Dispatcher 教程 理解分派概念。Profiler 的工具开销与首次采样也会影响数值,因此普通计时与诊断 trace 分开保留。
完成标准
- 能说明 Python 控制流、CPU 张量计算、GPU kernel 的职责
- 计时包含预热、重复、同步策略与范围说明
- 记录 batch、dtype、版本、硬件、延迟与吞吐量口径
- trace 中至少解释一个算子;可用 CUDA 时再关联一次 kernel / 复制
- 能指出观测证据与自己的推测分别是什么
我的实践记录
待补充:设备环境、分项表格、trace 截图或文件、事件解释、性能瓶颈与下一步实验。
下一步:08 · C++ 与 CUDA