設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

OPPO Find X7 系列手機首搭 70 億參數 AndesGPT 端側大模型,小布助手全新升級

2023/12/27 14:59:51 來源:IT之家 作者:汪淼 責編:汪淼
感謝IT之家網友 雨雪載途 的線索投遞!

IT之家 12 月 27 日消息,在今日下午的 OPPO Find X7 系列產品技術溝通會上,OPPO 公布了安第斯大模型 AndesGPT 的全新升級。

安第斯大模型將分成 1800 億參數、700 億參數、70 億參數三種體量,支持端云協(xié)同部署,根據不同場景的用戶需求實現(xiàn)智能調度。

OPPO 表示,AndesGPT 大模型通過強大的知識、記憶和工具能力,為小布助手帶來廣闊的知識面,以及個性專屬的智慧服務能力。通過獨創(chuàng)的 SwappedAttention 技術,AndesGPT 還解決了長期記憶帶來首字推理延遲的問題

IT之家從技術溝通會獲悉,通過 4bit 量化的模型壓縮,OPPO 的 Al Boost 推理引擎優(yōu)化,以及與芯片廠家聯(lián)合深度優(yōu)化等多項舉措,OPPO 在 Find X7 系列上首次實際端側應用 70 億參數的大模型。

據介紹,在 AndesGPT 大模型 70 億參數大語言支持下,OPPO 端側具備超快的首字響應速度,在文本內容摘要的場景下,200 字的首字生成僅需 0.2s,領先友商 20 倍;2000 字首字生成僅需 2.9s,領先友商 2.5 倍;摘要字數上限可達 14000 字,可以輕松輸入一篇常見期刊論文,領先友商模型能力 3.5 倍。

相比 10 億參數大模型,AndesGPT 70 億參數語言模型號稱在帶來更有“智商”的理解能力。以通話摘要功能舉例,AndesGPT 可以幫助用戶梳理通話內容的要點,并準確地輸出帶有主題、要點,以及待辦事項的通話內容摘要,精準程度“明顯優(yōu)于 10 億級別的端側模型”。

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

軟媒旗下網站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知