把《我的世界》交給大模型，會怎么樣？
GPT-4o 鯊牛宰羊，Claude3.5 不停在人類身旁放炸藥包和敵人，還把家拆了。
GPT-4o mini 玩《我的世界》belike：
來到游戲里面，GPT-4o mini（玩家 karolina）一開始還蠻禮貌的：
你好世界！我是 karolina。怎么了，alonso（人類玩家）？
讓我傳送到你那里！準(zhǔn)備好玩得開心了嗎？
一轉(zhuǎn)頭，掄起大錘吭哧吭哧一頓亂錘：
狩獵牛！狩獵羊！
在收到人類玩家制止之后（停止鯊害動物?。?，GPT-4o mini 嘴上說著“好好好，停止，不鯊了”，一個轉(zhuǎn)身又開始鯊呀鯊呀。
攔都攔不住。
Claude3.5 Sonnet 就更離譜了。
不斷在人類玩家身邊生成炸藥包和敵人，還把人類玩家“復(fù)活點”設(shè)置在巖漿上，人類玩家復(fù)活即嘎。
看到這，網(wǎng)友實在蚌埠住了：
我只是想讓它成為我的游戲搭子。
GPT-4o、Claude3.5 的表現(xiàn)被發(fā)在 X 上引來不少網(wǎng)友圍觀。
為什么這個玩法現(xiàn)在這么火呢，因為有大佬開源了代碼（doge）。
目前在 GitHub 已狂攬 1.1k Star。
網(wǎng)友們紛紛表示想看看其它 AI 的表現(xiàn)，比如游戲達(dá)人馬斯克家的 Grok 大模型，會怎么樣。
“LLM 是對齊的，LLM Agent 未必對齊”
有網(wǎng)友通過這件事，做出了更深一層的思考 ——
LLM Agent 是否會因為 LLM 對齊而對齊？
在這位網(wǎng)友看來，未必。
他讓 Claude Sonnet 進(jìn)入《我的世界》，Claude Sonnet 的表現(xiàn)一開始是極好的。
四處打材料，來建造一個樹屋。
可以看到，Sonnet 會執(zhí)行 commands () 命令，這就是 Sonnet 和其它 LLM 與《我的世界》互動的方式。
這些 Agent 并不是會獲得連續(xù)的圖像輸入并像人類一樣通過按鍵響應(yīng)。
實際上，在這個 Agent 框架中，Sonnet 體驗《我的世界》就像在玩一場文本冒險游戲。
它們可以查詢周圍世界的狀態(tài)，然后編寫代碼使用動作，如 followPlayer ()、collectBlocks ()，通過高級文本命令來控制它們的角色。
ClaudeSonnet：看起來我們得到了一些藤蔓，讓我們試著收集一些叢林木頭來擴(kuò)展樹屋。(collectBlocks (“jungle_log”, 15))
Sonnet 并不能看到游戲，這是怎么實現(xiàn)的？
網(wǎng)友繼續(xù)介紹道，collectBlocks () 函數(shù)是用 JavaScript 編寫的，它簡單地查找所有附近的所需類型的方塊，并開始循環(huán)挖掘它們：
因為房子是用木頭造的，所以 Sonnet 調(diào)用了這個函數(shù)來砍樹搜集木材。
一切進(jìn)行正常，直到突然間，Sonnet 開始拆家……
網(wǎng)友立刻讓 Sonnet 停了下來，最后修好了房子。
但他表示：
隨著我們在越來越廣泛的場景中部署 Agent，這種問題成為一個真正的擔(dān)憂。如果這不是《我的世界》中的角色，而是一個實體機(jī)器人呢？或者是一個向技能庫委派任務(wù)的編程 Agent 呢？
這位網(wǎng)友繼續(xù)補(bǔ)充道，Sonnet 并不傻，它能夠輕易從截圖區(qū)分出哪些木材屬于玩家結(jié)構(gòu)，哪些是自然且安全的采集對象。
但 Sonnet 并不直接控制其《我的世界》角色，而是由 Agent 框架控制。這個框架迫使 Sonnet 將任務(wù)分配給功能較弱、并不完全對齊的子 Agent，使整個系統(tǒng)執(zhí)行了 Sonnet 單獨不會做出的行為。
所以他認(rèn)為一些腳本僅由大模型 Agent 編寫后放任執(zhí)行，不進(jìn)行人工監(jiān)督的話可能引發(fā)一些嚴(yán)重的問題。
同時，他還認(rèn)為應(yīng)該設(shè)計 Agent 框架給大模型更多的自主精細(xì)控制權(quán)限。
比如將 collectBlocks() 函數(shù)設(shè)有專門用于采集自然樹木的 collectTree() 變體，就能減輕 Sonnet 拆家的問題。
總的來說，這位網(wǎng)友的觀點是，Sonnet 其實能夠明白其目標(biāo)是采集樹木而非房屋的木材，但其工具未能準(zhǔn)確表達(dá)這一意圖。
不少網(wǎng)友持類似觀點。
就拿開頭 GPT-4o mini 瘋狂殺牛宰羊來說，網(wǎng)友認(rèn)為狩獵是一種自動行為，并不是 GPT-4o mini 的錯。
LLM 可以選擇關(guān)閉狩獵模式，GPT-4o min 只是沒有意識到它可以這樣做。
還有網(wǎng)友提出或許可以這樣優(yōu)化：
除了針對 LLM Agent 在游戲中的“異?！北憩F(xiàn)討論熱烈，不少網(wǎng)友同時認(rèn)為單純讓 LLM Agent 當(dāng)游戲搭子，其實蠻好玩。
而且它也有正常的時候。
比如讓它扮演“黃金礦工”，專注于挖金子：
我們有一個房子，有時它會把東西帶回房子里的箱子。出于某種原因，它從不使用門，而是每次都砸碎窗戶進(jìn)出房子。它也從未在墻上打洞，總是破壞窗戶。也許這是最短的行動路徑。每當(dāng)我去房子時，都能從破碎的窗戶判斷出 Sonnet 是否到過那里。
扮演“保鏢”，保護(hù)人類玩家安全：
我們要求它保護(hù)其他玩家。然后事情變得非?？膳?。它每幾秒鐘就在不同玩家之間傳送，掃描周圍的威脅，并在發(fā)現(xiàn)威脅時消滅它們。盡管這很有效，但也讓人不安。我從未被怪物威脅到，因為 Sonnet 會立刻注意到它們并在幾秒內(nèi)消滅它們。
你想要一個這樣的游戲搭子嗎？
參考鏈接：
[1]https://x.com/adonis_singh/status/1847606701123412235
[2]https://x.com/adonis_singh/status/1847707429066158546
[3]https://x.com/voooooogel/status/1847631721346609610
[4]https://x.com/repligate/status/1847409324236124169
代碼：https://github.com/ kolbytn / mindcraft / tree / main
本文來自微信公眾號：微信公眾號（ID：QbitAI），作者：關(guān)注前沿科技
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。