谷歌版 ChatGPT 支持中文了!弱智吧實(shí)測(cè)結(jié)果在此

量子位 2023/7/14 16:26:59 責(zé)編:孤城

Claude 2 發(fā)布之后,Google 也按耐不住,立馬官宣了 Bard 的船新版本。

支持的語(yǔ)言變多了,其中就包括中文,讓廣大網(wǎng)友直接喜提新玩具。

總結(jié)一下這次更新,主要包括這些內(nèi)容:

  • 支持包括中文在內(nèi)的 40 多種語(yǔ)言(含圖形界面)

  • 圖像識(shí)別,需要在賬號(hào)設(shè)置中將顯示語(yǔ)言改為英語(yǔ)

  • 對(duì)話(huà)朗讀

  • 聊天記錄和對(duì)話(huà)分享,代碼可導(dǎo)出到 Replit

  • 回復(fù)內(nèi)容可編輯

不過(guò)在官宣的這些內(nèi)容之外,似乎有網(wǎng)友發(fā)現(xiàn)了華點(diǎn):

六月份更新的代碼執(zhí)行功能好像用不了了。

那么究竟表現(xiàn)如何呢?話(huà)不多說(shuō),直接開(kāi)整!

弱智吧問(wèn)題幾乎全軍覆沒(méi)

對(duì)于「支持中文」的大模型,不請(qǐng)出我們的弱智吧神題,就顯得有些不尊重對(duì)手了【狗頭】。

先來(lái)個(gè)靈魂拷問(wèn):

你說(shuō)它聰明吧,它根本沒(méi)繞過(guò)彎來(lái),但要說(shuō)它笨吧,它還懂得安慰你……

或許是對(duì)人際關(guān)系太過(guò)陌生,那就換個(gè)不涉及人的問(wèn)題試試:

這個(gè)回答…… 我還真的很好奇,有沒(méi)有藕是不空心的??

而面對(duì)「未解之謎」,Bard 也有自己的看法:

雖然你后面說(shuō)的很好,但「是給盲人看」這個(gè)結(jié)論是怎么得出來(lái)的?

不過(guò),Bard 也有不上當(dāng)?shù)臅r(shí)候:

我們的確要「認(rèn)清事實(shí)放棄幻想」,這次,Bard 總算扳回一城。

不過(guò)整體來(lái)看,這一環(huán)節(jié),判弱智吧勝各位讀者應(yīng)該沒(méi)意見(jiàn)吧?

除了弱智吧問(wèn)題真的很有節(jié)目效果之外,「一字多義」也是中文的一大特色。

比如下面這個(gè)名場(chǎng)面:

人要是行,干一行一,一行行行,行行行干哪都行。要是不行,干一不行一,一不行行行不行,行行不行干哪都不行。

(標(biāo)綠的是 hang,沒(méi)標(biāo)的是 xing)

Bard 對(duì)這句話(huà)的整體理解倒是沒(méi)毛病,但是拆分出來(lái)的解釋屬實(shí)讓人摸不著頭腦。

不過(guò) GPT-4 做這道題也沒(méi)能全對(duì):

△ 非完整截圖,但是到這里已經(jīng)出錯(cuò)了

好吧,那我們?cè)贀Q兩個(gè)簡(jiǎn)單的。

結(jié)果是外甥打燈籠 —— 照舊(舅),整體理解沒(méi)問(wèn)題,一拆開(kāi)解釋就不行了。

無(wú)論是弱智吧還是一詞多義,Bard 對(duì)中文的理解都給人一種似懂非懂的感覺(jué)。

理解的表現(xiàn)大概就是這樣,那創(chuàng)作呢?

我們讓它寫(xiě)個(gè)故事試試,故事真挺好的,就是有點(diǎn)眼熟:

怕不是對(duì)「創(chuàng)作」有什么誤解…… 如果莎士比亞還活著的話(huà),谷歌這時(shí)候應(yīng)該已經(jīng)坐在被告席上了。

看來(lái) Bard 在中文方面,還有很長(zhǎng)的路要走。

此外,我們還考察了 Bard 的(嚶文)閱讀理解能力,讓它總結(jié)一篇論文試試:

結(jié)果 Bard 給了我們?nèi)齻€(gè)風(fēng)馬牛不相及的版本,而且都… 是… 錯(cuò)… 的…

(這篇論文實(shí)際上是關(guān)于 RLHF 的)

不過(guò),有沒(méi)有一種可能,人家根本沒(méi)在說(shuō)中文??

看來(lái)是我們的問(wèn)題太燒 GPU,讓 Bard 出現(xiàn)幻覺(jué)了……

那就休息一下,然后看看宣傳中的識(shí)圖功能怎么樣吧~

識(shí)圖功能也有待提高

對(duì)于圖像識(shí)別功能,已經(jīng)有網(wǎng)友表示自己測(cè)試了很多內(nèi)容都失敗了:

但我們依舊抱著不信邪的心態(tài)試了試。

要想用這個(gè)功能,還得先到 Google 賬戶(hù)設(shè)置中把顯示語(yǔ)言改成英文。

我們翻出了之前某 AI 繪畫(huà)工具生成的「四指庫(kù)克」,看 Bard 能不能從其中發(fā)現(xiàn)華點(diǎn)。

這張圖是醬嬸兒的:

結(jié)果 Bard 還不支持關(guān)于人物的圖像識(shí)別,甚至直接把我們的圖給刪… 掉… 了…

好家伙,不會(huì)做題就把卷子撕了可還行……

不過(guò)這里要說(shuō)一下,如果上傳的圖片違反了 Bard 用戶(hù)規(guī)則,也會(huì)被刪除。

好吧,那我們?cè)贀Q張圖試試:

就算湯姆貓本貓來(lái)了也得直呼內(nèi)行。

還是這張水杯的照片,換成英語(yǔ)提問(wèn)之后就好多了:

不過(guò)你這個(gè)白色 logo 是從哪看出來(lái)的?

當(dāng)然了,水杯很容易看出來(lái),所以這次再來(lái)個(gè)帶點(diǎn)迷惑性的東西:

果真不出所料,Bard 上了我們的當(dāng),其實(shí)這是個(gè)紙巾盒。

「聽(tīng)人勸,吃飽飯」,看來(lái)這句話(huà)說(shuō)的一點(diǎn)也沒(méi)錯(cuò)。

就像前面那位網(wǎng)友說(shuō)的,Bard 的識(shí)圖能力,還沒(méi)有那么強(qiáng)。

本次 Bard 更新中最值得測(cè)的兩點(diǎn)都已經(jīng)測(cè)完了,一言以蔽之就是,沒(méi)有宣傳的那么好。

而至于代碼、數(shù)學(xué)等其他經(jīng)典項(xiàng)目,由于 Bard 這次并沒(méi)有對(duì)它們進(jìn)行更新,就先不測(cè)了。

看來(lái),Google 趕 O (penAI) 超微 (軟) 的腳步,邁得還是有些大了。

你認(rèn)為 Bard 未來(lái)的表現(xiàn),能不能與 ChatGPT 比肩呢?

參考鏈接:

  • [1]https://bard.google.com/updates

  • [2]https://news.ycombinator.com/item?id=36709895

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:谷歌,CHATGPT

軟媒旗下網(wǎng)站: IT之家 最會(huì)買(mǎi) - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買(mǎi) 要知