Home
Awesome
cuda_learning
learning how CUDA works
project list:
custom op [Done]
CUDA 编程基础
memory & reduction [Done]
GPU的内存体系及其优化指南
Gemm [Done]
通用矩阵乘法:从入门到熟练
Transformer [Done]
基础算子:
LayerNorm 算子的 CUDA 实现与优化
SoftMax 算子的 CUDA 实现与优化
Cross Entropy 的 CUDA 实现
AdamW 优化器的 CUDA 实现
激活函数与残差连接的 CUDA 实现
embedding 层与 LM head 层的 CUDA 实现
核心模块
self-attention 的 CUDA 实现及优化 (上)
self-attention 的 CUDA 实现及优化 (下)
CUDA mode lectures [WIP]