Claude 操控電腦，究竟可以做到什么程度？
新加坡國(guó)立大學(xué)團(tuán)隊(duì)在 20 多個(gè)場(chǎng)景下做了全面測(cè)試，其中最引人矚目的是：AI 可以自動(dòng)玩手游清日常任務(wù)了！
研究中選用了米哈游《崩壞：星穹鐵道》，可以跟它說(shuō)”幫我完成今天的模擬宇宙”，然后，Claude 就會(huì)立即依次打開游戲菜單、找到星穹里的”黃金花萼”、自動(dòng)設(shè)置 6 次挑戰(zhàn)次數(shù)：
甚至還可以啟動(dòng)自動(dòng)戰(zhàn)斗、等待戰(zhàn)斗結(jié)束后退出，這一套組合操作簡(jiǎn)直行云流水……
而且注意哦，這不僅是傳統(tǒng)游戲外掛那樣的機(jī)械操作，Claude 還能智能理解游戲規(guī)則和目標(biāo)，根據(jù)界面上不同的任務(wù)進(jìn)行調(diào)整。
這下好了，人類只能在一旁干瞪眼了。
除了更多測(cè)試場(chǎng)景外，論文還提出了一個(gè)開箱即用的自動(dòng) GUI 框架。
有網(wǎng)友看到視頻后評(píng)論說(shuō)：以后我去上學(xué)的時(shí)候，就可以讓 Claude 幫我玩每日任務(wù)了。
還可以自動(dòng)完成很多辦公任務(wù)
Claude Computer Use 的潛能還遠(yuǎn)遠(yuǎn)沒有被人類發(fā)掘 ——
研究團(tuán)隊(duì)還測(cè)試了很多日常辦公場(chǎng)景下它的性能：
1.網(wǎng)頁(yè)搜索
它可以在 Amazon 和 Apple 官方網(wǎng)站上成功完成下單購(gòu)物的任務(wù)，選擇顏色配置、填寫地址都輕松拿捏。
2.工作流程
模型還成功完成了在 Apple Music 添加歌曲、編輯 Excel 數(shù)據(jù)、在 App Store 安裝應(yīng)用等自動(dòng)任務(wù)。
雖然界面設(shè)計(jì)和跳轉(zhuǎn)邏輯更加復(fù)雜，它還是能智能地理解任務(wù)的最終目標(biāo)，真是一個(gè)成熟的好 AI（欣慰）！
3.. 辦公生產(chǎn)力軟件
此外，它還可以在 Outook 中轉(zhuǎn)發(fā)郵件、調(diào)整 Word 布局、設(shè)置 PowerPoint 背景設(shè)置和插入三角形形狀等等，這下真的可以大大增強(qiáng)生產(chǎn)力了（AI 無(wú)用論 -1）。
4.還可以玩其他游戲
除了《崩壞：星穹鐵道》，模型也可以自動(dòng)玩《爐石傳說(shuō)》，包括創(chuàng)建和重命名牌組、使用英雄技能等等。
Claude Computer Use API + 自動(dòng)化 GUI 框架
你可能會(huì)好奇，強(qiáng)如 Claude Computer Use，是怎么做到自動(dòng)完成任務(wù)的呢？
下面我們就一起來(lái)看看背后的框架設(shè)計(jì) ——
具體來(lái)說(shuō)，團(tuán)隊(duì)基于 Claude Computer Use 的 API 設(shè)計(jì)了一個(gè)自動(dòng)化 GUI 框架，主要分為以下 6 個(gè)部分：
1.系統(tǒng)提示
Claude Computer Use 的系統(tǒng)提示包括環(huán)境概述、可用函數(shù)和參數(shù)描述。用戶可以通過(guò)編寫塊來(lái)調(diào)用這些函數(shù)，例如計(jì)算機(jī)交互、Bash Shel 命令和文件編輯工具。
2.狀態(tài)觀察
Claude Computer Use 通過(guò)實(shí)時(shí)截圖觀察環(huán)境，不依賴元數(shù)據(jù)或 HTML。每個(gè)時(shí)間步長(zhǎng)過(guò)后，模型都會(huì)保留歷史截圖，幫助生成下一步的動(dòng)作。
3.推理范式
Claude Computer Use 采用了一種推理-行動(dòng)范式，通過(guò)觀察環(huán)境來(lái)決定下一步的動(dòng)作。這種范式可以讓模型在高度動(dòng)態(tài)的 GUI 環(huán)境中生成更可靠的動(dòng)作。
4.工具使用
Claude Computer Use 提供了三種工具：計(jì)算機(jī)工具、文本編輯器工具和 Bash 工具，它們可以幫助模型與計(jì)算機(jī)進(jìn)行交互，執(zhí)行各種任務(wù)。
5.GUI 動(dòng)作空間
GUI 動(dòng)作空間內(nèi)置了所有原始的鼠標(biāo)和鍵盤動(dòng)作，如鼠標(biāo)移動(dòng)、點(diǎn)擊、按鍵組合、拖放和截圖等。模型會(huì)根據(jù)需要自行組合。
6.歷史視覺上下文維護(hù)
模型在每個(gè)時(shí)間步長(zhǎng)都會(huì)保留歷史截圖，以輔助動(dòng)作生成過(guò)程。具體公式如下：
性能測(cè)試
為了更加廣泛地測(cè)試 Claude Computer Use 和 GUI 框架聯(lián)合后的性能效果，團(tuán)隊(duì)還設(shè)計(jì)了詳盡的測(cè)試實(shí)驗(yàn)，包括
1.數(shù)據(jù)收集：實(shí)驗(yàn)設(shè)計(jì)包括在 Windows 和 macOS 上通過(guò) ComputerUse Out-of-the-Box 平臺(tái)進(jìn)行評(píng)估。評(píng)估任務(wù)覆蓋了廣泛的應(yīng)用領(lǐng)域，包括網(wǎng)頁(yè)搜索、工作流程、辦公生產(chǎn)力軟件和視頻游戲等。
2.樣本選擇：選擇了 20 個(gè)任務(wù)，涵蓋 12 個(gè)軟件或網(wǎng)站，分為以下三個(gè)領(lǐng)域：網(wǎng)頁(yè)搜索、工作流程、辦公生產(chǎn)力和視頻游戲。具體的任務(wù)可以查看下表：
3.參數(shù)配置：系統(tǒng)分辦率設(shè)置為 Windows 的（1366,768）和 macOS 的（1344,756）。過(guò)程中還加入了人類評(píng)審和評(píng)估用于監(jiān)控和審查過(guò)程，確保任務(wù)的順利完成。
雖然 Claude Computer Use 在之前的例子中表現(xiàn)都非常厲害，但當(dāng)網(wǎng)頁(yè)或軟件的頁(yè)面過(guò)于復(fù)雜時(shí)，模型也出現(xiàn)了一些失敗案例：
1.精細(xì)網(wǎng)頁(yè)操作失敗：在 Fox Sports 訂閱任務(wù)中失敗，錯(cuò)誤原因主要在于模型沒有正確導(dǎo)航到”Account”選項(xiàng)卡。
2.辦公軟件失?。涸?Word 中更新簡(jiǎn)歷模板、和在 PPT 中插入編號(hào)符號(hào)兩個(gè)任務(wù)中失敗，錯(cuò)誤原因在于模型未能準(zhǔn)確選擇和定位文本字段。
不過(guò)整體來(lái)說(shuō)，Claude Computer Use 已經(jīng)很棒了，而且這功能也剛剛發(fā)布沒多久，未來(lái)可期！
團(tuán)隊(duì)還公開了所有測(cè)試用例的具體信息，感興趣的小伙伴可以點(diǎn) GitHub 項(xiàng)目鏈接查看更多消息～
Claude 老師，以后我的 PPT 和 Steam 就拜托你了（bushi）
參考資料：
https://arxiv.org/pdf/2411.10323
https://github.com/showlab/computer_use_ootb
本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：奇月，原標(biāo)題《Claude 自動(dòng)玩崩鐵清日常，NUS 新論文完整測(cè)評(píng) AI 電腦操控：GUI 智能體的黎明》
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。