把《我的世界》交給大模型，會(huì)怎么樣？
GPT-4o 鯊牛宰羊，Claude3.5 不停在人類身旁放炸藥包和敵人，還把家拆了。
GPT-4o mini 玩《我的世界》belike：
來到游戲里面，GPT-4o mini（玩家 karolina）一開始還蠻禮貌的：
你好世界！我是 karolina。怎么了，alonso（人類玩家）？
讓我傳送到你那里！準(zhǔn)備好玩得開心了嗎？
一轉(zhuǎn)頭，掄起大錘吭哧吭哧一頓亂錘：
狩獵牛！狩獵羊！
在收到人類玩家制止之后（停止鯊害動(dòng)物！），GPT-4o mini 嘴上說著“好好好，停止，不鯊了”，一個(gè)轉(zhuǎn)身又開始鯊呀鯊呀。
攔都攔不住。
Claude3.5 Sonnet 就更離譜了。
不斷在人類玩家身邊生成炸藥包和敵人，還把人類玩家“復(fù)活點(diǎn)”設(shè)置在巖漿上，人類玩家復(fù)活即嘎。
看到這，網(wǎng)友實(shí)在蚌埠住了：
我只是想讓它成為我的游戲搭子。
GPT-4o、Claude3.5 的表現(xiàn)被發(fā)在 X 上引來不少網(wǎng)友圍觀。
為什么這個(gè)玩法現(xiàn)在這么火呢，因?yàn)橛写罄?strong>開源了代碼（doge）。
目前在 GitHub 已狂攬 1.1k Star。
網(wǎng)友們紛紛表示想看看其它 AI 的表現(xiàn)，比如游戲達(dá)人馬斯克家的 Grok 大模型，會(huì)怎么樣。
“LLM 是對(duì)齊的，LLM Agent 未必對(duì)齊”
有網(wǎng)友通過這件事，做出了更深一層的思考 ——
LLM Agent 是否會(huì)因?yàn)?LLM 對(duì)齊而對(duì)齊？
在這位網(wǎng)友看來，未必。
他讓 Claude Sonnet 進(jìn)入《我的世界》，Claude Sonnet 的表現(xiàn)一開始是極好的。
四處打材料，來建造一個(gè)樹屋。
可以看到，Sonnet 會(huì)執(zhí)行 commands () 命令，這就是 Sonnet 和其它 LLM 與《我的世界》互動(dòng)的方式。
這些 Agent 并不是會(huì)獲得連續(xù)的圖像輸入并像人類一樣通過按鍵響應(yīng)。
實(shí)際上，在這個(gè) Agent 框架中，Sonnet 體驗(yàn)《我的世界》就像在玩一場(chǎng)文本冒險(xiǎn)游戲。
它們可以查詢周圍世界的狀態(tài)，然后編寫代碼使用動(dòng)作，如 followPlayer ()、collectBlocks ()，通過高級(jí)文本命令來控制它們的角色。
ClaudeSonnet：看起來我們得到了一些藤蔓，讓我們?cè)囍占恍﹨擦帜绢^來擴(kuò)展樹屋。(collectBlocks (“jungle_log”, 15))
Sonnet 并不能看到游戲，這是怎么實(shí)現(xiàn)的？
網(wǎng)友繼續(xù)介紹道，collectBlocks () 函數(shù)是用 JavaScript 編寫的，它簡(jiǎn)單地查找所有附近的所需類型的方塊，并開始循環(huán)挖掘它們：
因?yàn)榉孔邮怯媚绢^造的，所以 Sonnet 調(diào)用了這個(gè)函數(shù)來砍樹搜集木材。
一切進(jìn)行正常，直到突然間，Sonnet 開始拆家……
網(wǎng)友立刻讓 Sonnet 停了下來，最后修好了房子。
但他表示：
隨著我們?cè)谠絹碓綇V泛的場(chǎng)景中部署 Agent，這種問題成為一個(gè)真正的擔(dān)憂。如果這不是《我的世界》中的角色，而是一個(gè)實(shí)體機(jī)器人呢？或者是一個(gè)向技能庫委派任務(wù)的編程 Agent 呢？
這位網(wǎng)友繼續(xù)補(bǔ)充道，Sonnet 并不傻，它能夠輕易從截圖區(qū)分出哪些木材屬于玩家結(jié)構(gòu)，哪些是自然且安全的采集對(duì)象。
但 Sonnet 并不直接控制其《我的世界》角色，而是由 Agent 框架控制。這個(gè)框架迫使 Sonnet 將任務(wù)分配給功能較弱、并不完全對(duì)齊的子 Agent，使整個(gè)系統(tǒng)執(zhí)行了 Sonnet 單獨(dú)不會(huì)做出的行為。
所以他認(rèn)為一些腳本僅由大模型 Agent 編寫后放任執(zhí)行，不進(jìn)行人工監(jiān)督的話可能引發(fā)一些嚴(yán)重的問題。
同時(shí)，他還認(rèn)為應(yīng)該設(shè)計(jì) Agent 框架給大模型更多的自主精細(xì)控制權(quán)限。
比如將 collectBlocks() 函數(shù)設(shè)有專門用于采集自然樹木的 collectTree() 變體，就能減輕 Sonnet 拆家的問題。
總的來說，這位網(wǎng)友的觀點(diǎn)是，Sonnet 其實(shí)能夠明白其目標(biāo)是采集樹木而非房屋的木材，但其工具未能準(zhǔn)確表達(dá)這一意圖。
不少網(wǎng)友持類似觀點(diǎn)。
就拿開頭 GPT-4o mini 瘋狂殺牛宰羊來說，網(wǎng)友認(rèn)為狩獵是一種自動(dòng)行為，并不是 GPT-4o mini 的錯(cuò)。
LLM 可以選擇關(guān)閉狩獵模式，GPT-4o min 只是沒有意識(shí)到它可以這樣做。
還有網(wǎng)友提出或許可以這樣優(yōu)化：
除了針對(duì) LLM Agent 在游戲中的“異常”表現(xiàn)討論熱烈，不少網(wǎng)友同時(shí)認(rèn)為單純讓 LLM Agent 當(dāng)游戲搭子，其實(shí)蠻好玩。
而且它也有正常的時(shí)候。
比如讓它扮演“黃金礦工”，專注于挖金子：
我們有一個(gè)房子，有時(shí)它會(huì)把東西帶回房子里的箱子。出于某種原因，它從不使用門，而是每次都砸碎窗戶進(jìn)出房子。它也從未在墻上打洞，總是破壞窗戶。也許這是最短的行動(dòng)路徑。每當(dāng)我去房子時(shí)，都能從破碎的窗戶判斷出 Sonnet 是否到過那里。
扮演“保鏢”，保護(hù)人類玩家安全：
我們要求它保護(hù)其他玩家。然后事情變得非?？膳?。它每幾秒鐘就在不同玩家之間傳送，掃描周圍的威脅，并在發(fā)現(xiàn)威脅時(shí)消滅它們。盡管這很有效，但也讓人不安。我從未被怪物威脅到，因?yàn)?Sonnet 會(huì)立刻注意到它們并在幾秒內(nèi)消滅它們。
你想要一個(gè)這樣的游戲搭子嗎？
參考鏈接：
[1]https://x.com/adonis_singh/status/1847606701123412235
[2]https://x.com/adonis_singh/status/1847707429066158546
[3]https://x.com/voooooogel/status/1847631721346609610
[4]https://x.com/repligate/status/1847409324236124169
代碼：https://github.com/ kolbytn / mindcraft / tree / main
本文來自微信公眾號(hào)：微信公眾號(hào)（ID：QbitAI），作者：關(guān)注前沿科技
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。