IT之家 11 月 16 日消息，微軟 Ignite 2023 大會已于今天拉開帷幕，英偉達(dá)高管出席本次大會并宣布更新 TensorRT-LLM，添加了對 OpenAI Chat API 的支持。
IT之家今年 10 月報道，英偉達(dá)面向數(shù)據(jù)中心和 Windows PC，推出 Tensor RT-LLM 開源庫。最大的特點是，如果 Windows PC 配備英偉達(dá) GeForce RTX GPU，TensorRT-LLM 可以讓 LLM 在 Windows PC 上的運行速度提高四倍。
英偉達(dá)在今天 Ignite 2023 大會上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增強(qiáng) DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。
TensorRT-LLM 可以通過英偉達(dá)的 AI Workbench 在本地完成，開發(fā)者可以使用這個統(tǒng)一、易用的工具包，在 PC 或工作站上快速創(chuàng)建、測試和定制預(yù)訓(xùn)練的生成式 AI 模型和 LLM。英偉達(dá)還為此推出了搶先體驗注冊頁面。
英偉達(dá)將于本月晚些時候發(fā)布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。
用戶可以在 8GB 顯存以上的 GeForce RTX 30 系列和 40 系列 GPU 上運行，一些便攜式 Windows 設(shè)備也能使用快速、準(zhǔn)確的本地 LLM 功能。
相關(guān)閱讀：
《英偉達(dá)推出 Tensor RT-LLM，使大語言模型在搭載 RTX 的 PC 平臺上運行速度提高 4 倍》
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。