從 0 開始在《我的世界》 （MineCraft）中挖出一塊鉆石，需要多長時間？對于熟悉游戲的玩家來說，可能只需要幾分鐘的時間：
▲ 圖源 Youtube@ItzJhief
然而對于 AI 來說，15 分鐘內可能都挖不出 1 塊鉆石！
為了發(fā)掘 AI 的潛力，CMU、微軟、DeepMind 和 OpenAI 聯(lián)手在頂會 NeurIPS 上舉辦了一個名叫 MineRL 的競賽，要求參賽隊伍在 4 天時間內，訓練出一個能在 15 分鐘內挖出鉆石的 AI“礦工”。
從往屆表現(xiàn)來看，冠軍連 40 分都拿不到，甚至舉辦方給出的 AI Baselines 只能達到 2 分左右的水準（滿分 100 分）。
今年，騰訊的絕悟 AI 卻以 76.97 分的絕對優(yōu)勢一舉奪魁，成功成為挑戰(zhàn)賽歷史上“挖礦最迅速”的 AI。（不過，這幾屆的所有 AI，都沒能達成 15min 內挖出鉆石這一挑戰(zhàn)）
▲紅色為絕悟 AI 分數(shù)
騰訊 AI Lab 是怎么拿到冠軍的？
“AI 礦工”為何難以挖出鉆石？
之所以 AI 難以在競賽中迅速挖出鉆石，主要有兩方面的原因。一方面，《我的世界》游戲本身對 AI 有難度。
作為開放世界游戲，它的初始世界完全隨機生成，而迅速合成鉆石又需要比較復雜的步驟：既不能只用一種工具，也不能“一挖到底”。
通常來說，從 0 開始挖鉆石最快的方法，分為 7 個步驟。第一步，玩家在空手進入《我的世界》中時，需要先找到樹上的木頭，用來獲取木塊：
第二步，將這些木塊用來合成工作臺：
第三步，在工作臺上合成木鎬，用來挖原石：
第四步，獲得原石之后，需要合成一個石鎬，用來快速挖鐵礦：
第五步，為了將鐵礦合成鐵錠，還需要做一個熔爐來燒鐵：
第六步，合成鐵鎬，用來挖出鉆石：
第七步，尋找鉆石，并用鐵鎬來挖出最終的鉆石：
看到這里，就知道挖礦對于 AI 來說，已經(jīng)很復雜了，不僅面臨大量決策，還需要考慮時間問題。
另一方面，為了增加難度，舉辦方還特意給“AI 礦工”們增加了不少限制。
禁止參賽者編寫規(guī)則、游戲環(huán)境將背包信息與動作空間加密、不允許使用預訓練模型、AI 與環(huán)境交互不超過 800 萬次、只能使用 6 核 CPU + 半張 NVIDIA K80 顯卡訓練 4 天……
當然，這樣做是為了讓各大高校的學生也有能力參與這次挑戰(zhàn)賽，不至于出現(xiàn)硬件上“軍備競賽”的問題。
面對來自游戲和舉辦方的“挑戰(zhàn)”，騰訊的絕悟 AI 是如何成為一名優(yōu)秀礦工的？
如何讓 AI 更快地挖礦？
首先，是整體訓練策略的問題。
要想讓 AI 在短時間、少算力的情況下變得會挖礦，首先就要改變訓練策略。
這種情況下，不可能再用強化學習對 AI 進行整體訓練。
因此，騰訊 AI Lab 將強化學習進行了“升級”，提出了一種基于分層強化學習 （Hierarchical Reinforcement Learning）的方法。
簡單來說，就是將挖出鉆石的過程像人一樣分成幾個具體的步驟，每個步驟都有一個“小目標”，讓 AI 在完成一個目標后，能迅速地實施下一個目標。
然后，就是三個細節(jié)上的問題了。
其一，開放地圖的理解問題。由于表示學習在《我的世界》這樣的 3D 場景中效果很差，騰訊 AI Lab 設計了一種基于動作感知的算法，來捕捉每個動作對環(huán)境的影響。
這種方法快速地提升了 AI 在開放世界中獲取資源的速度。
其二，策略選擇問題。在游戲進行到一定階段后，AI 與人的思路會發(fā)生一些差異，僅憑人類數(shù)據(jù)訓練，對 AI 的提升作用有限。為此，騰訊 AI Lab 采用了自模仿學習的算法，從自己的實踐中獲得教訓和經(jīng)驗，來降低進入危險區(qū)域、做出錯誤決策的概率。
其三，合成物品問題。合成物品對于人類來說非常簡單，然而 AI 卻總是不容易合成它，成功率一開始甚至只有 35% 左右。為此，騰訊 AI Lab 采用了動作序列一致性過濾（Consistency Filtering）+ 基于投票的集成學習（Ensemble Learning）方法，最終將合成物品的成功率提升到 96%。
最終在評分中，絕悟 AI 的分數(shù)達到了 76.97 分。
事實上，在游戲 AI 上一路向前的“絕悟”，已經(jīng)歷了數(shù)次進化。從最初攻克 Atari 游戲開始，到后來的棋牌游戲 AI“絕藝”，掌握一手圍棋、象棋、麻將的絕活。再到現(xiàn)在的策略協(xié)作型 AI“絕悟”，從 MOBA、FPS 再到開放世界游戲《我的世界》，這個基于強化學習訓練的智能體正在變得愈發(fā)復雜。
這次的《我的世界》版絕悟 AI 論文也已經(jīng)放出，感興趣的小伙伴可以沖了~
《我的世界》版絕悟 AI 論文地址：
https://arxiv.org/abs/2112.04907
參考鏈接：
[1]https://www.youtube.com/watch?v=CnKJgA93hyY
[2]https://www.aicrowd.com/challenges/neurips-2021-minerl-diamond-competition#team
[3]https://www.aicrowd.com/challenges/neurips-2021-minerl-diamond-competition/leaderboards?challenge_round_id=956
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。