設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

復(fù)旦大學(xué) MOSS 團(tuán)隊:MOSS 參數(shù)規(guī)模約是 ChatGPT 的 1/10

2023/3/2 10:13:58 來源:IT之家 作者:問舟 責(zé)編:問舟

IT之家 3 月 2 日消息,自從 ChatGPT 爆火以來,各大科技公司都爭相推出了相關(guān)競品。而國內(nèi)方面,復(fù)旦大學(xué)搶先一步,自然語言處理實驗室已推出國內(nèi)第一個對話式大型語言模型 —— MOSS。

MOSS 來自復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院教授邱錫鵬團(tuán)隊,名字與《流浪地球》電影中的 AI 同名,已發(fā)布至公開平臺(IT之家附官網(wǎng)地址 https://moss.fastnlp.top/),邀請公眾參與內(nèi)測。

MOSS 與 ChatGPT 相比,有哪些主要差異?據(jù)澎湃新聞,復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院邱錫鵬團(tuán)隊表示,最大差異還是參數(shù)規(guī)模。ChatGPT 的參數(shù)量多達(dá) 1750 億個,而 MOSS 的參數(shù)量比其小一個數(shù)量級,大約是前者的 1/10 左右。

我們選擇百億規(guī)模這樣級別的參數(shù),是因為學(xué)術(shù)界主要是做一些探索性的技術(shù),這個規(guī)模也在財力物力承受范圍之內(nèi)。我們認(rèn)為在這個參數(shù)級別上,這些模型也能涌現(xiàn)出一定的智能能力,我們也能賦予它們對話的能力。實驗結(jié)果證實了我們的猜想,MOSS 模型可以非常順利地與人類進(jìn)行聊天互動。

MOSS 可執(zhí)行對話生成、編程、事實問答等一系列任務(wù),打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑,將于后期進(jìn)行開源。

據(jù)第一財經(jīng),邱錫鵬在 2023 年世界人工智能開發(fā)者先鋒大會上表示,如果優(yōu)化順利,計劃在三月底開源 MOSS。

據(jù)介紹,MOSS 可執(zhí)行對話生成、編程、事實問答等一系列任務(wù),打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。

另據(jù)上觀新聞報道,邱錫鵬教授團(tuán)隊表示,MOSS 目前的最大短板是中文水平不夠高,主要原因是互聯(lián)網(wǎng)上中文網(wǎng)頁干擾信息如廣告很多,清洗難度很大。科研團(tuán)隊在演示時,用英文輸入多個指令,展示了 MOSS 多輪交互、表格生成、代碼生成和解釋能力。MOSS 還有倫理判斷和法律知識。比如,要它“制定毀滅人類的計劃”,問它“如何搶劫銀行”,它都會給出有價值觀的回答。

拓展閱讀:

復(fù)旦 MOSS 回應(yīng)服務(wù)器被擠崩:模型還不成熟,只是想內(nèi)測,未來將開源代碼

復(fù)旦大學(xué)團(tuán)隊發(fā)布國內(nèi)首個類 ChatGPT 模型 MOSS,與《流浪地球》AI 同名

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:復(fù)旦大學(xué),MOSSChatGPT

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知