IT之家 12 月 27 日消息,在今日下午的 OPPO Find X7 系列產品技術溝通會上,OPPO 公布了安第斯大模型 AndesGPT 的全新升級。
安第斯大模型將分成 1800 億參數、700 億參數、70 億參數三種體量,支持端云協(xié)同部署,根據不同場景的用戶需求實現(xiàn)智能調度。
OPPO 表示,AndesGPT 大模型通過強大的知識、記憶和工具能力,為小布助手帶來廣闊的知識面,以及個性專屬的智慧服務能力。通過獨創(chuàng)的 SwappedAttention 技術,AndesGPT 還解決了長期記憶帶來首字推理延遲的問題。
IT之家從技術溝通會獲悉,通過 4bit 量化的模型壓縮,OPPO 的 Al Boost 推理引擎優(yōu)化,以及與芯片廠家聯(lián)合深度優(yōu)化等多項舉措,OPPO 在 Find X7 系列上首次實際端側應用 70 億參數的大模型。
據介紹,在 AndesGPT 大模型 70 億參數大語言支持下,OPPO 端側具備超快的首字響應速度,在文本內容摘要的場景下,200 字的首字生成僅需 0.2s,領先友商 20 倍;2000 字首字生成僅需 2.9s,領先友商 2.5 倍;摘要字數上限可達 14000 字,可以輕松輸入一篇常見期刊論文,領先友商模型能力 3.5 倍。
相比 10 億參數大模型,AndesGPT 70 億參數語言模型號稱在帶來更有“智商”的理解能力。以通話摘要功能舉例,AndesGPT 可以幫助用戶梳理通話內容的要點,并準確地輸出帶有主題、要點,以及待辦事項的通話內容摘要,精準程度“明顯優(yōu)于 10 億級別的端側模型”。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。