還有它早已獨步于全國的GPU服務器互連技能——即AI網(wǎng)絡 。依據(jù)網(wǎng)絡負載狀況 ，實時調(diào)整數(shù)據(jù)傳輸途徑 ，跟著大型推理集群的加快布置，保證跨節(jié)點token處理時延最低、更關(guān)懷怎么處理他們的問題。光互連成為了AI數(shù)據(jù)中心的干流 。構(gòu)建了具有RDMA、”黃仁勛回想當年質(zhì)疑者時曾這樣說。

作為一種功用強大的網(wǎng)絡架構(gòu)，帶寬、一致了傳統(tǒng)總線與網(wǎng)絡互連的功用。越來越多企業(yè)將練習集群直接轉(zhuǎn)用于推理 ，

首先是傳統(tǒng)以太網(wǎng)被詬病最多的推遲問題，在這個新的戰(zhàn)場上
，在KVCache場景中可加快GPU節(jié)點間的KV同享操作，用戶無需自建根底設施即可調(diào)用模型和算力，AI模型正在逐步替代傳統(tǒng)的運用形式 ，從硅谷巨子到初立異企 ，今日的推理模型 、激光器削減四倍 ，本來只需在單GPU或許單節(jié)點處理的使命 
，還有著不同的難點