使得在JAX等高檔仇人中表達的模型核算可以在TPU服務硬件上高效運轉。Gemini經過
精準量化練習(AQT)等辦法不斷得到優化,從定制硬件
、然后最大化削減TPU的閑暇時刻
,
CPU和內存
AI模型的運轉不只依靠TPU和GPU等機器學習加速器,這部分開支動力一般用電力運用功率(PUE)方針來衡量。一次查詢只需耗費0.10wh,保證軟件充分運用硬件潛力
,
值得一提的是
,乃至比人放一次屁還少,相當于微波爐運轉1秒,
比方經過估測解碼技能
,

首要是更高效的模型架構
,谷歌用硬核數據強勢回擊
。其功率可進步10倍到100倍。比較之前的言語建模架構,一向專心研討怎么下降AI耗費。Jeff Dean也表明:
人們都在考慮AI是否會耗費很多動力?它是否會經過碳排放來損傷地球