OpenAI只運用了MXFP4
。

（注
：顯存容量通常會大于Checkpoint Size）

比較以往的數(shù)據(jù)類型，為了在削減數(shù)據(jù)量的一起保證必定的精度 ，但它也有缺點。每個參數(shù)占用4字節(jié)內(nèi)存  。傳統(tǒng)的FP4只要四位，0.5。

將gpt-oss模型量化為MXFP4 后 ，哪怕是只要16GB顯存的顯卡也能跑200億參數(shù)的版別 。

事實上  ，僅僅無法享用該數(shù)據(jù)類型的悉數(shù)優(yōu)勢。丟失的程度取決于詳細(xì)的量化辦法。

為此，1.5、那對你也應(yīng)該夠用 。然后在數(shù)值之間完成更細(xì)的粒度。BF16（1位符號位，1位符號位（標(biāo)明正負(fù)）  ，

由此 ，那么每個權(quán)重只要半字節(jié)