IT之家 1 月 31 日消息，英偉達(dá)今日宣布，DeepSeek-R1 模型現(xiàn)已在 build.nvidia.com 上作為 NVIDIA NIM 微服務(wù)預(yù)覽版提供。DeepSeek-R1 NIM 微服務(wù)可以在單個 NVIDIA HGX H200 系統(tǒng)上每秒提供多達(dá) 3,872 tokens。
據(jù)介紹，開發(fā)人員可以測試和試驗應(yīng)用程序編程接口（API），該接口預(yù)計將很快作為可下載的 NIM 微服務(wù)提供，這是 NVIDIA AI Enterprise 軟件平臺的一部分。
DeepSeek-R1 NIM 微服務(wù)通過支持行業(yè)標(biāo)準(zhǔn) API 簡化了部署。企業(yè)可以通過在其首選的加速計算基礎(chǔ)設(shè)施上運(yùn)行 NIM 微服務(wù)來最大限度地提高安全性和數(shù)據(jù)隱私。將 NVIDIA AI Foundry 與 NVIDIA NeMo 軟件結(jié)合使用，企業(yè)還將能夠為專用 AI 代理創(chuàng)建自定義的 DeepSeek-R1 NIM 微服務(wù)。
IT之家注意到，為方便各種規(guī)模的企業(yè)部署 AI 服務(wù)，英偉達(dá)于 2024 年 3 月推出了 NIM（Nvidia Inference Microservices）云原生微服務(wù)。
NIM 是一套經(jīng)過優(yōu)化的云原生微服務(wù)，旨在縮短上市時間，并簡化生成式 AI 模型在云、數(shù)據(jù)中心和 GPU 加速工作站的任何位置的部署。它使用行業(yè)標(biāo)準(zhǔn) API，抽象化 AI 模型開發(fā)和生產(chǎn)包裝的復(fù)雜性，從而擴(kuò)展開發(fā)者池。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。