IT之家 3 月 19 日消息,英偉達今日正式發(fā)布 Dynamo,號稱是“AI 工廠的操作系統(tǒng)”。
Dynamo 是一個“分布式推理服務(wù)庫”。本質(zhì)上,它是一個針對用戶需求 token 而無法生產(chǎn)足夠 token 之間問題的開源解決方案。
黃仁勛展示了一張關(guān)于推理的圖表,X 軸顯示用戶每秒的 Token 數(shù),Y 軸顯示工廠每秒的 Token 數(shù)。
在 Dynamo、Grace Blackwell NVLink72 超級芯片的加持下,Blackwell 相比 Hopper 可實現(xiàn) 25 倍的性能提升。
而在推理模型中,Blackwell 的性能是 Hopper 的 40 倍。
IT之家注意到,黃仁勛還打趣道,有了上述最新技術(shù)加持,搭建 AI 工廠的廠商“買得越多、省得越多”,總而言之就是掏錢吧。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。