异步并行、底层控制与系统优化
围绕 CUDA 存算重叠、异步数据传输、CUDA Graph 与多 GPU 协同，梳理 GPU 系统级优化方法。
CUDA
6 篇文章，11 个相关标签
#CUDA#异步并行#系统优化#GPU#并行计算#GEMM#访存优化#性能优化#Roofline#内存访问#并行规约
并行编程导论与CUDA入门
从并行计算、GPU 硬件和 SIMT 模型开始认识 CUDA 编程。
GEMM 优化
从 GEMM、分块和 Warptiling 出发，理解 CUDA 中的访存优化。
性能模型与逐元素优化
用 Roofline 模型和访存分析理解 CUDA 内核的性能瓶颈。
内存模型与规约优化
从 GPU 内存层次、原子操作到多种并行规约优化方法。
向量规约
梳理 CUDA 存储层级、线程组织和向量规约的基本实现。