IT之家 1 月 9 日消息，2020 年 6 月，在訓(xùn)練約 2000 億個(gè)單詞、燒掉幾千萬(wàn)美元后，史上最強(qiáng)大 AI 模型“生成型已訓(xùn)練變換模型 3”（GPT-3）一炮而紅。
這個(gè) OpenAI 打造的語(yǔ)言 AI 模型宛如萬(wàn)能選手，只有你想不到的畫(huà)風(fēng)，沒(méi)有它輸不出的文案，既能創(chuàng)作文學(xué)，能當(dāng)翻譯，還能編寫(xiě)自己的計(jì)算機(jī)代碼。任何外行人都可以使用這一模型，幾分鐘內(nèi)提供示例，就能獲得想要的文本產(chǎn)出。
據(jù)新華社，美國(guó)加利福尼亞大學(xué)洛杉磯分校的研究人員發(fā)現(xiàn)，在衡量智力的一系列推理測(cè)試中，自回歸語(yǔ)言模型 GPT-3 的成績(jī)明顯優(yōu)于普通大學(xué)生。
該程序利用深度學(xué)習(xí)生成類(lèi)似人類(lèi)語(yǔ)言的文本。GPT-3 有很多用途，包括語(yǔ)言翻譯和為聊天機(jī)器人生成文本等，其有 1750 億個(gè)參數(shù)，是目前規(guī)模最大、功能最強(qiáng)的語(yǔ)言處理人工智能模型之一。
IT之家這里突然想到，OpenAI 的 ChatGPT 似乎也實(shí)現(xiàn)了類(lèi)似效果，雖然它依然基于 GGPT-3，但這一模型被業(yè)內(nèi)稱(chēng)為“GPT-4” ，這也是硅谷研究實(shí)驗(yàn)室推出的第四代語(yǔ)言模型，對(duì)全世界的搜索引擎、作家、編碼人員、教授以及 Nickelback 構(gòu)成了生存威脅。
當(dāng)然，根據(jù)大多數(shù)專(zhuān)家的意見(jiàn)，與即將發(fā)布的 GPT-4 主版本相比，ChatGPT 現(xiàn)版本只能說(shuō)是一個(gè)開(kāi)胃小菜。
加州大學(xué)研究者認(rèn)為，這類(lèi)大型語(yǔ)言模型重新引發(fā)了關(guān)于在提供足夠訓(xùn)練數(shù)據(jù)的情況下人類(lèi)認(rèn)知能力是否更強(qiáng)的爭(zhēng)論。特別令人感興趣的是這些模型能夠零樣本地推理新問(wèn)題，而無(wú)需對(duì)這些問(wèn)題進(jìn)行任何直接訓(xùn)練。
研究人員指出，在人類(lèi)認(rèn)知中，這種能力與類(lèi)比推理能力密切相關(guān)，而他們?cè)谝幌盗蓄?lèi)比任務(wù)上對(duì) GPT-3 進(jìn)行了直接比較，包括與 Raven 的漸進(jìn)矩陣密切相關(guān)的新型基于文本的矩陣推理任務(wù)，最終發(fā)現(xiàn) GPT-3 表現(xiàn)出了驚人的抽象模式歸納能力，在大多數(shù)情況下匹配甚至超越人類(lèi)的能力。
最終結(jié)果表明，諸如 GPT-3 之類(lèi)的大型語(yǔ)言模型已經(jīng)獲得了一種“新興能力”，可以為廣泛的類(lèi)比問(wèn)題找到零樣本解決方案。
參考資料：
https://doi.org/10.48550/arXiv.2212.09196
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。