0x0. 前言 接着【BBuf的CUDA笔记】十三，OpenAI Triton 入门笔记一 继续探索和学习OpenAI Triton。这篇文章来探索使用Triton写LayerNorm/RMSNorm kernel的细节。 之前在 【BBuf的CUDA笔记】十二，LayerNorm/RMSNorm的重计算实现 这篇文章我啃过Apex的LayerNorm实现，整个实现过程是非常复杂的，不仅仅需要

0x0. 前言 2023年很多mlsys工作都是基于Triton来完成或者提供了Triton实现版本，比如现在令人熟知的FlashAttention，大模型推理框架lightllm，diffusion第三方加速库stable-fast等灯，以及很多mlsys的paper也开始使用Triton来实现比如最近刚报道的这个​新一代注意力机制Lightning Attention-2：无限序列长度、恒定

0x0. 前言 填一下 【BBuf的CUDA笔记】十，Linear Attention的cuda kernel实现解析 留下的坑，阅读本文之前需要先阅读上面这篇文章。这里就不重复介绍背景知识了，只需要知道现在要计算的目标是： V j ′ = ( Q 0 : j ∗ K 0 : j T ) ∗ V 0 : j V_j' = (Q_{0:j} * K_{0:j}^T) * V_{0:j} Vj′​=

欢迎来 https://github.com/BBuf/how-to-optim-algorithm-in-cuda 踩一踩。 0x0. 问题引入 Linear Attention的论文如下： Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention：https://arxiv.org/pd

0x0. 前言 由于CUDA水平太菜，所以一直没写过这方面的笔记。现在日常的工作中已经不能离开写CUDA代码，所以准备学习ZZK随缘做一做CUDA的笔记记录一下学习到的知识和技巧。这篇文章记录的是阅读OneFlow的Element-Wise系列CUDA算子实现方案学习到的技巧，希望可以帮助到一起入门CUDA的小伙伴们。Elemet-Wise算子指的是针对输入Tensor进行逐元素操作，比如ReL