設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

谷歌外包審核抱怨:很多話題我都不懂,如何短時(shí)間判斷 Bard 說的對(duì)不對(duì)

2023/4/5 11:35:47 來源:網(wǎng)易科技 作者:小小 責(zé)編:遠(yuǎn)洋

4 月 5 日消息,谷歌近日推出了聊天機(jī)器人 Bard,并呼吁公司員工進(jìn)行內(nèi)部測(cè)試,同時(shí)也委托了許多外部承包商進(jìn)行評(píng)估。然而,一些承包商爆料稱,他們根本沒有足夠的時(shí)間來驗(yàn)證 Bard 的答案是否正確,最終只能憑借猜測(cè)。

在 OpenAI 聊天機(jī)器人 ChatGPT 爆火后,谷歌也迅速跟進(jìn),在 3 月份推出了聊天機(jī)器人 Bard 的有限測(cè)試版。與 ChatGPT 類似,用戶可以向 Bard 提問或下達(dá)任務(wù)指令,Bard 會(huì)給出類似人類的答復(fù)。

目前,跨國(guó) AI 訓(xùn)練數(shù)據(jù)服務(wù)公司 Appen 的承包商正在幫助改進(jìn)谷歌的聊天機(jī)器人。雖然這些人沒有被明確告知他們被分配的任務(wù)與 Bard 有關(guān),但是關(guān)于新任務(wù)的內(nèi)部討論可以追溯到 2 月 7 日,也就是在谷歌首次發(fā)布 Bard 的時(shí)候。Appen 內(nèi)部文件顯示承包商需要審查 AI 聊天機(jī)器人所提供的回應(yīng)質(zhì)量。

這些承包商通常會(huì)幫助評(píng)估谷歌搜索算法和搜索結(jié)果中廣告的相關(guān)性,還會(huì)標(biāo)記有害網(wǎng)站,使得這些網(wǎng)站不會(huì)出現(xiàn)在搜索結(jié)果中。

四名接受采訪的承包商表示,自 1 月份以來,他們的大部分工作已經(jīng)轉(zhuǎn)向?qū)彶?AI 聊天機(jī)器人的提示。在評(píng)估過程中,承包商們對(duì)聊天機(jī)器人的表現(xiàn)感到失望,并稱他們沒有足夠時(shí)間準(zhǔn)確評(píng)估聊天機(jī)器人對(duì)提示的響應(yīng)是否正確,有時(shí)只能憑借猜測(cè)。不過他們?nèi)匀豢梢阅玫綀?bào)酬。

Bard 在一次演示活動(dòng)中因?yàn)榻o出錯(cuò)誤答案而受到批評(píng)。谷歌對(duì)此表示,聊天機(jī)器人會(huì)隨著時(shí)間的推移而變得越來越好,它不應(yīng)該被視為搜索的替代品。

在正式發(fā)布前,谷歌曾在 2 月份要求其員工每天用兩到四個(gè)小時(shí)幫助測(cè)試這款聊天機(jī)器人,包括向它提問,并標(biāo)記出不符合公司準(zhǔn)確性標(biāo)準(zhǔn)和其他衡量標(biāo)準(zhǔn)的答案。員工可以重寫任何問題的回答,以供 Bard 從中學(xué)習(xí)。谷歌和 Appen 沒有回應(yīng)置評(píng)請(qǐng)求。

沒有足夠時(shí)間

根據(jù)承包商指導(dǎo)文件,他們將收到用戶向 AI 聊天機(jī)器人發(fā)出的提示(例如提問、指令或陳述),以及兩個(gè)機(jī)器生成的回應(yīng)。承包商需要幫助確認(rèn)哪種回應(yīng)更好。他們還可以在文本框中詳細(xì)說明選擇的原因,以幫助聊天機(jī)器人學(xué)習(xí)在可接受的響應(yīng)中尋找特定屬性。聊天機(jī)器人給出的回答應(yīng)該連貫而準(zhǔn)確,并引入最新信息。

承包商表示,他們被設(shè)定固定的時(shí)間來完成每項(xiàng)任務(wù)。審查提示的任務(wù)時(shí)間從 60 秒到幾分鐘不等,差異很大。這些人承認(rèn),如果他們不熟悉聊天機(jī)器人談?wù)摰脑掝},比如區(qū)塊鏈等技術(shù),就很難給 AI 的回應(yīng)評(píng)分。

由于每項(xiàng)任務(wù)都有固定報(bào)酬,一些承包商表示,即使他們意識(shí)到自己無法準(zhǔn)確評(píng)估聊天機(jī)器人的反應(yīng),他們也會(huì)盡力完成任務(wù)。

一位評(píng)估人員說:“在短短 60 秒內(nèi),我沒有足夠的時(shí)間去了解我不懂的領(lǐng)域,所以我只能給出最好的猜測(cè),這樣我就可以繼續(xù)工作和領(lǐng)取報(bào)酬。”

另一位承包商表達(dá)了類似的觀點(diǎn),稱他們也想獲得正確答案,提供盡可能優(yōu)質(zhì)的聊天機(jī)器人體驗(yàn),但在進(jìn)行評(píng)估之前,他們沒有足夠的時(shí)間來研究某些話題。他補(bǔ)充說:“老實(shí)說,我們中的很多人都快要崩潰了!”

第三位承包商表示:“用三個(gè)小時(shí)的研究來完成短短 60 秒的任務(wù),這非常明顯地凸顯了我們現(xiàn)在面臨的問題?!?/p>

要求改善工作條件

目前,通過外包公司為谷歌工作的承包商,越來越多地要求改善工作條件。

今年 2 月,許多承包商訪問了谷歌總部 Googleplex,向搜索業(yè)務(wù)負(fù)責(zé)人普拉巴卡爾?拉加萬(Prabhakar Raghavan)遞交了一份請(qǐng)?jiān)笗?,希望提高?bào)酬。他們?yōu)?Appen 工作,每小時(shí)的薪資在 14 美元到 14.5 美元之間。而他們所支持的業(yè)務(wù)(搜索和廣告)是谷歌的主要收入來源。

Alphabet 工人工會(huì)已經(jīng)表示支持這些承包商,并幫助他們采取行動(dòng),但該組織不能正式代表承包商與谷歌進(jìn)行談判。

在得克薩斯州奧斯汀,YouTube 的承包商去年年底宣布了與 AWU 成立工會(huì)的計(jì)劃。該組織估計(jì),谷歌雇用了 20 多萬名承包商,但這些人未被計(jì)入公司的官方員工總數(shù)中。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:谷歌,Bard

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知