C++ 与 CUDA
状态:待开始,属于长期学习目标。 先做一个能完整解释的小实验。返回项目 Index
这一部分要回答什么
- C++ 前端和 Python 调用 C++ 扩展是什么关系?
- 张量的 shape、dtype、stride、device 与连续内存怎样影响实现?
- 一个 CUDA kernel 怎样把工作分给 grid、block 和 thread?
- 前向正确、算子注册正确、梯度正确为什么需要分别检查?
准备条件
先掌握 C++ 基本语法、函数、容器、引用、指针、内存与基本构建过程,再读 PyTorch C++ 前端。
普通 PyTorch GPU 运算和自己编译 CUDA 扩展是不同阶段。后者还需要匹配的本地编译工具链与 CUDA Toolkit;具体兼容关系按当时的 自定义算子教程 和安装文档确认。无 CUDA 设备时先完成 CPU 扩展。
分三步向下走
A · C++ 张量与 CPU 扩展
选一个简单浮点算子,例如 y = a × x + b,先用原生 PyTorch 表达式作为数值基准。用 C++ / ATen 完成对应实现并注册,让 Python 可以调用。
写清支持的 dtype、维度、device、连续性与广播范围。第一版可以限定输入契约,但对不支持的输入要明确报错。
B · CUDA kernel
给同一算子实现 CUDA 路径:理解线程索引、越界检查、显存读写、当前 stream 与启动配置。至少覆盖长度不是 block 大小整数倍的输入,避免只在整齐尺寸上正确。
先阅读 NVIDIA 新版 CUDA Programming Guide 的编程模型与 CUDA C++ 部分,再把线程索引公式和自己的张量索引对应起来。
C · 接回 PyTorch 的训练体系
按 官方 C++ / CUDA 算子教程 分别完成:
- 数值对照:与 PyTorch 基准比较不同尺寸、边界情况与合理浮点误差。
- 注册检查:使用
torch.library.opcheck检查算子集成;它不会证明数学梯度正确。 - 训练支持:需要可微时注册 Autograd 规则,并用
gradcheck或独立数值差分验证梯度。 - 性能比较:正确后再计时,包含预热与同步,比较相同工作量;一次扩展调用不保证快于已有实现。
完成标准
- 能解释 Python 入口、算子 schema、CPU / CUDA 实现与分派关系
- 支持范围明确,边界输入得到正确结果或清楚报错
- 前向数值、注册和需要时的梯度有独立检查结果
- 能画出自己的线程索引与数据索引对应关系
- 性能结论有硬件、版本、规模与测量口径支撑
我的实践记录
待补充:选题理由、构建环境、接口契约、调用链、数值与梯度检查、性能记录。完成后再决定是否接入数字识别模型,或另开一个底层算子项目。
回到:项目 Index