IT之家 1 月 31 日消息，英偉達(dá)今日宣布，DeepSeek-R1 模型現(xiàn)已在 build.nvidia.com 上作為 NVIDIA NIM 微服務(wù)預(yù)覽版提供。DeepSeek-R1 NIM 微服務(wù)可以在單個(gè) NVIDIA HGX H200 系統(tǒng)上每秒提供多達(dá) 3,872 tokens。
據(jù)介紹，開發(fā)人員可以測(cè)試和試驗(yàn)應(yīng)用程序編程接口（API），該接口預(yù)計(jì)將很快作為可下載的 NIM 微服務(wù)提供，這是 NVIDIA AI Enterprise 軟件平臺(tái)的一部分。
DeepSeek-R1 NIM 微服務(wù)通過(guò)支持行業(yè)標(biāo)準(zhǔn) API 簡(jiǎn)化了部署。企業(yè)可以通過(guò)在其首選的加速計(jì)算基礎(chǔ)設(shè)施上運(yùn)行 NIM 微服務(wù)來(lái)最大限度地提高安全性和數(shù)據(jù)隱私。將 NVIDIA AI Foundry 與 NVIDIA NeMo 軟件結(jié)合使用，企業(yè)還將能夠?yàn)閷Ｓ?AI 代理創(chuàng)建自定義的 DeepSeek-R1 NIM 微服務(wù)。
IT之家注意到，為方便各種規(guī)模的企業(yè)部署 AI 服務(wù)，英偉達(dá)于 2024 年 3 月推出了 NIM（Nvidia Inference Microservices）云原生微服務(wù)。
NIM 是一套經(jīng)過(guò)優(yōu)化的云原生微服務(wù)，旨在縮短上市時(shí)間，并簡(jiǎn)化生成式 AI 模型在云、數(shù)據(jù)中心和 GPU 加速工作站的任何位置的部署。它使用行業(yè)標(biāo)準(zhǔn) API，抽象化 AI 模型開發(fā)和生產(chǎn)包裝的復(fù)雜性，從而擴(kuò)展開發(fā)者池。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。