#CUDA

FlashAttention 的思想和做法是什么？

考察对注意力计算瓶颈的理解：FlashAttention 用分块计算和 online softmax 避免 O(N²) 显存读写，IO 感知是核心思想。