基于大模型的 Agent 會(huì)玩寶可夢(mèng)了,人類(lèi)水平的那種!
名為 PokéLLMon,現(xiàn)在它正在天梯對(duì)戰(zhàn)中與人類(lèi)玩家一較高下:
PokéLLMon 能靈活調(diào)整策略,一旦發(fā)現(xiàn)攻擊無(wú)效,立刻改變行動(dòng):
PokéLLMon 還會(huì)運(yùn)用人類(lèi)式的消耗戰(zhàn)術(shù),頻繁給對(duì)方寶可夢(mèng)下毒,并一邊恢復(fù)自身 HP。
不過(guò)面對(duì)強(qiáng)敵,PokéLLMon 也會(huì)“慌亂”逃避戰(zhàn)斗,連續(xù)切換寶可夢(mèng):
最終對(duì)戰(zhàn)結(jié)果是,PokéLLMon 在隨機(jī)天梯賽中取得 49% 的勝率,與專業(yè)玩家的邀請(qǐng)賽中取得 56% 的勝率,游戲戰(zhàn)略和決策水平接近人類(lèi)。
網(wǎng)友看到 PokéLLMon 的表現(xiàn)也很意外,直呼:
小心被任天堂封禁,這話是認(rèn)真的。
甚至有網(wǎng)友喊話寶可夢(mèng)大滿貫選手、世錦賽冠軍 Wolfey Glick,來(lái)和這個(gè) AI 一較高下:
這究竟是如何做到的?
PokéLLMon 大戰(zhàn)人類(lèi)
PokéLLMon 由佐治亞理工學(xué)院研究團(tuán)隊(duì)提出:
具體來(lái)說(shuō),他們提出了三個(gè)關(guān)鍵策略。
一是上下文強(qiáng)化學(xué)習(xí)(In-Context Reinforcement Learning)。
利用從對(duì)戰(zhàn)中即時(shí)獲得的文字反饋?zhàn)鳛橐环N新的“獎(jiǎng)勵(lì)”輸入,不需要訓(xùn)練就可以在線迭代完善和調(diào)整 PokéLLMon 的決策生成策略。
其中反饋內(nèi)容包括:回合 HP 變化、攻擊效果、速度優(yōu)先級(jí)、招式額外效果等。
比如 PokéLLMon 反復(fù)使用相同的攻擊招式,但由于對(duì)方寶可夢(mèng)具有“干燥皮膚”的能力,對(duì)其沒(méi)有任何效果。
在第三回合中對(duì)戰(zhàn)中,通過(guò)即時(shí)上下文強(qiáng)化學(xué)習(xí),PokéLLMon 隨后選擇更換寶可夢(mèng)。
二是知識(shí)增強(qiáng)生成(Knowledge-Augmented Generation)。
通過(guò)檢索外部知識(shí)源作為額外輸入,融入到狀態(tài)描述中。比如檢索類(lèi)型關(guān)系、招式數(shù)據(jù),模擬人類(lèi)查詢寶可夢(mèng)圖鑒,來(lái)減少未知知識(shí)導(dǎo)致的“幻覺(jué)”問(wèn)題。
由此一來(lái),PokéLLMon 可以準(zhǔn)確理解并應(yīng)用招式效果。
比如面對(duì)鐵甲犀牛進(jìn)化形態(tài)的地面攻擊,PokéLLMon 未選擇更換寶可夢(mèng),而是施展“電磁飄浮”,該技能在五回合內(nèi)成功抵御地面攻擊,使犀牛的“地震”技能無(wú)效。
三是一致性動(dòng)作生成(Consistent Action Generation)。
研究人員發(fā)現(xiàn),當(dāng) PokéLLMon 面對(duì)強(qiáng)大對(duì)手時(shí),思維鏈(CoT)的推理方式會(huì)導(dǎo)致它因“恐慌”而頻繁更換道具或?qū)毧蓧?mèng)。
△PokéLLMon 害怕,不斷切換寶可夢(mèng)
而通過(guò)一致性動(dòng)作生成,可以獨(dú)立多次生成行動(dòng),投票出最一致的,從而緩解“恐慌”。
值得一提的是,研究人員所用的模型自主和人類(lèi)作戰(zhàn)的寶可夢(mèng)對(duì)戰(zhàn)環(huán)境,基于 Pokemon Showdown 和 poke-env 實(shí)現(xiàn),目前已開(kāi)源。
為了測(cè)試 PokéLLMon 的對(duì)戰(zhàn)能力,研究人員用它分別與隨機(jī)天梯賽玩家和一名擁有 15 年經(jīng)驗(yàn)的專業(yè)玩家對(duì)戰(zhàn)。
結(jié)果,PokéLLMon 與天梯隨機(jī)玩家的勝率為 48.57%,與專業(yè)玩家的邀請(qǐng)對(duì)戰(zhàn)勝率為 56%。
總的來(lái)說(shuō),PokéLLMon 的優(yōu)勢(shì)在于:能準(zhǔn)確選擇有效招式,統(tǒng)一使用一個(gè)寶可夢(mèng)擊倒全部對(duì)手;展現(xiàn)出類(lèi)人的消耗戰(zhàn)略,使對(duì)手中毒后再拖延回血。
不過(guò)研究人員也指出了 PokéLLMon 的不足之處,面對(duì)玩家的消耗戰(zhàn)略 (拖延回血) 很難應(yīng)對(duì):
容易被玩家的迷惑戰(zhàn)術(shù)誤導(dǎo)(迅速切換寶可夢(mèng),巧妙使 PokéLLMon 浪費(fèi)強(qiáng)化攻擊機(jī)會(huì)):
團(tuán)隊(duì)簡(jiǎn)介
三位作者均為華人學(xué)者。
論文一作胡思昊,現(xiàn)為佐治亞理工學(xué)院計(jì)算機(jī)科學(xué)博士生,本科畢業(yè)于浙江大學(xué),曾在新加坡國(guó)立大學(xué)擔(dān)任研究助理。
研究興趣包括用于區(qū)塊鏈安全和推薦系統(tǒng)的數(shù)據(jù)挖掘算法及系統(tǒng)。
作者 Tiansheng Huang,同為佐治亞理工學(xué)院計(jì)算機(jī)科學(xué)博士生,華南理工大學(xué)校友。
研究興趣包括分布式機(jī)器學(xué)習(xí)、并行與分布式計(jì)算、優(yōu)化算法以及機(jī)器學(xué)習(xí)安全性。
導(dǎo)師劉玲,現(xiàn)為佐治亞理工學(xué)院計(jì)算機(jī)系教授。1982 年畢業(yè)于中國(guó)人民大學(xué),1993 年于荷蘭蒂爾堡大學(xué)獲博士學(xué)位。
劉教授主導(dǎo)分布式數(shù)據(jù)密集系統(tǒng)實(shí)驗(yàn)室(DiSL)的研究工作,專注于大數(shù)據(jù)系統(tǒng)及其分析的多個(gè)方面,如性能、安全和隱私等。
同時(shí)她也是 IEEE Fellow,2012 年獲得 IEEE 計(jì)算機(jī)學(xué)會(huì)技術(shù)成就獎(jiǎng),還曾擔(dān)任多個(gè) IEEE 和 ACM 大會(huì)主席。
參考鏈接:
[1]https://twitter.com/_akhaliq/status/1754337188014100876
[2]https://poke-llm-on.github.io/
本文來(lái)自微信公眾號(hào):量子位 (ID:QbitAI),作者:西風(fēng)
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。