設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

英偉達(dá)推出 RTX 聊天機(jī)器人,可在 RTX 30 和 40 GPU 上免費(fèi)使用

2024/2/13 22:30:08 來源:IT之家 作者:浩渺(實(shí)習(xí)) 責(zé)編:浩渺

IT之家 2 月 13 日消息,英偉達(dá)今天發(fā)布“Chat with RTX”(與 RTX 聊天)應(yīng)用程序,這是一款適用于 Windows PC 的聊天機(jī)器人,由 TensorRT-LLM 提供支持。

IT之家獲悉,“Chat with RTX”聊天機(jī)器人被設(shè)計(jì)為一個(gè)本地化系統(tǒng),用戶無需上網(wǎng)便可使用,所有具有至少 8 GB 顯存的 GeForce RTX 30 和 40 GPU 都支持該應(yīng)用程序。

Chat with RTX 支持多種文件格式,包括文本、pdf、doc / docx 和 xml。只需將應(yīng)用程序指向包含文件的文件夾,它就會(huì)在幾秒鐘內(nèi)將它們加載到庫(kù)中。此外,用戶還可以提供 YouTube 播放列表的 URL,該應(yīng)用程序?qū)⒓虞d播放列表中視頻的轉(zhuǎn)錄,使用戶能夠查詢它們涵蓋的內(nèi)容。

從官方描述來看,用戶可以通過不同的查詢,與使用 ChatGPT 相同的方式使用 Chat With RTX,但生成的結(jié)果將完全基于特定數(shù)據(jù)集,似乎更適用于生成摘要、快速搜索文檔等操作。

擁有支持 TensorRT-LLM 的 RTX GPU 意味著用戶將在本地使用所有數(shù)據(jù)和項(xiàng)目,而不是將它們保存在云中,這將節(jié)省時(shí)間并提供更精確的結(jié)果。

英偉達(dá)表示,TensorRT-LLM v0.6.0 將性能提升 5 倍,將于本月晚些時(shí)候推出。此外,它還將支持其他 LLM,如 Mistral 7B 和 Nemotron 3 8B。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知