IT之家 2 月 21 日消息，AI 芯片與解決方案企業(yè) SambaNova 宣布在其基于自研 SN40L RDU 處理器的云平臺(tái)上推出號(hào)稱“市面最快”的 DeepSeek-R1 671B 模型推理云服務(wù)，并表示其 token 輸出速度可達(dá)每 prompt 每秒 198 個(gè)。
SambaNova 的 SN40L RDU 芯片基于臺(tái)積電 5nm 制程，BF16 算力可達(dá) 638 TFLOPS。其采用了一種三層存儲(chǔ)結(jié)構(gòu)：片上的 520MB SRAM 緩存、2.5D 封裝集成的 64GB HBM 內(nèi)存、片外的 1.5TB 超大容量 DDR DRAM 內(nèi)存，這使得單芯片能容納的參數(shù)遠(yuǎn)超一般競(jìng)品。
此外 SN40L RDU 在結(jié)構(gòu)上的靈活性使得其能動(dòng)態(tài)重新配置硬件資源和數(shù)據(jù)流，提升計(jì)算與訪存效率。
SambaNova 宣稱，其僅需一臺(tái)容納 16 個(gè) SN40L RDU 芯片的機(jī)架就能完成 DeepSeek-R1 671B 部署。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。