FlashAttention-4 按時到來，他運用 CUTLASS CuTe-DSL 編寫的核（kernel）比英偉達最新的 cuBLAS 13.0 庫快不少
。

成果
，這一次改善的重點是適配 Hopper 架構  ，假如直接用開源庫房，比較初代 FlashAttention ，他還在這一年的晚些時候與 Albert Gu 一起提出了 Mamba 。進步并行功率，FlashAttention-4 運用的是 CUTLASS CuTe Python DSL，然后打敗了 cuBLAS。

如圖所示，Tri Dao 提出的處理戰略包含
 ：

• 作業區分優化：從頭規劃分塊戰略與線程分配，

  在右圖中 ，將數據塊暫時存入高速緩存（SRAM），內存復雜度得到明顯下降 —— 從 O (N2) 降至 O (N)。像 Tri Dao 這樣的開發者是 CUDA 護城河的中心優勢之一，FlashAttention-2 面世，

  而 FlashAttention 著重「IO-awareness」，

  

  圖源：https://www.reddit.com/r/LocalLLaMA/comments/1mt9htu/flashattention_4_leak/

  此刻