所以，但是 ，

挑選線性注意力模塊

在確認了全注意力層的放置計劃后
，

最近，它還移除了在 Q (查詢) 和 K (鍵) 上的冗余靜態卷積，參數數量與硬件功率并不直接相關。且在整個過程中堅持這些權重被凍住（不再更新）