美女黄色三级片FlashAttention-4震慑来袭，原生支撑Blackwell GPU，英伟达的护城河更深了？-6488avav
發布時間:2025-09-02 19:01:58分類: 最新新聞
添加硬件運用率；
削減非矩陣運算
，其移植到 ROCm HIP 的難度要高出 10 倍
，即 H100 理論最大 FLOPS 運用率為 75%
。FlashAttention-4 的速度比英偉達 cuDNN 庫中的注意力核完成快可達 22% ！初代 FlashAttention 帶來的增益也很明顯：在 BERT-large（序列長度 512）中比較 MLPerf 基線進步練習速度約 15%；GPT-2（序列長度 1K）進步約 3 倍；在 Long-Range Arena（序列長度 1K–4K）進步約 2.4 倍 。僅能到達理論峰值很低的份額（約 25–40%）