但在 GPU 上仍存在低吞吐率的問題，在左圖中，

據介紹 ，FlashAttention 運用了 tiling 技能來避免在（相對較慢的）GPU HBM 上履行很大的 ?? × ?? 注意力矩陣（虛線框）。達 PyTorch 規范完成 9 倍速度進步。FlashAttention 的 GitHub 軟件庫現已堆集了超越 1.91 萬星
。它運用了一種新的在線 softmax 算法