AI 接管人類電腦，未來已來！Claude 自主操控電腦，從編程到科研無所不能，代表著萬能 API。另一邊，OpenAI 內(nèi)部加急研發(fā)多智能體 AI，已經(jīng)有了雛形。
AI 像人一樣操作電腦，已然成為下一個前沿。兩天前，Anthropic 進化版 Claude 3.5 Sonnet 首次實現(xiàn)自主操控電腦屏幕、移動光標、完成任務，驚艷了所有人。
當時，Anthropic 開發(fā)者關(guān)系負責人稱，「『計算機使用』是萬能的 API，它代表著全新人機交互范式的第一步」。
拿到測試資格的網(wǎng)友們，瘋狂體驗了這項「超能力」。甚至，就連初創(chuàng)公司 CEO 對此贊不絕口，AI 智能體已經(jīng)來臨，你現(xiàn)在可以建立 AI 軍隊為你工作。
在 Anthropic 加速布局智能體未來同時，OpenAI 似乎也感受到了緊迫感。外媒最新爆料稱，OpenAI 內(nèi)部正開發(fā)新品來自動化復雜的軟件編程任務。
恰在昨天，OpenAI 研究科學家、德?lián)渲冈?TED 活動中表示，「自己對構(gòu)建 o1 失去信心，正在 OpenAI 組建多智能體團隊」。
這意味著，一場全新的競賽即將開始，AI 不再僅僅是對話生成，而應該去執(zhí)行和操作。
Claude 接管人類電腦，科研求職編碼一鍵通
那些上手 Claude 計算機使用能力的開發(fā)者們，根本停不下來創(chuàng)作。從復雜的編碼任務到深入研究，再到收集 「零散」的信息，許多令人驚嘆的典型案例誕生了。
畢竟是自家首發(fā)的，Anthropic 開發(fā)者關(guān)系負責人 Alex Albert 先了打個樣。
他先用 Claude 計算機和 bash 工具，在線下載一個隨機數(shù)據(jù)集，然后安裝 sklearn，在數(shù)據(jù)集上訓練一個簡單的分類器。
最后，在網(wǎng)頁上就得到了分類器結(jié)果。
這些過程，不到 5 分鐘的時間就完成了。
其中用到的提示，他也貢獻出來了：
Go to https://data.gov, find an interesting recent dataset, and download it. Install sklearn with bash tool write a .py file to split the data into train and test and make a classifier for it. (you may need to inspect the data and/or iterate if this goes poorly at first, but don't get discouraged!). Come up with some way to visualize the results of your classifier in the browser.
一位開發(fā)者已經(jīng)開始讓 Claude 幫自己自主做科研了。
驗證「你是不是人」，Claude 可以代勞了。
想要 Claude 控制你的電腦，只需要：
pip install open-interpreterinterpreter --os
Claude 一頓操作猛如虎，以后視頻內(nèi)置廣告，通通交給它了。
打工人求職申請表填寫，Claude 也能勝任。這不，下面這位開發(fā)者小哥已經(jīng)讓 AI 自動申請 Anthropic 職位了。
進化版（左）和舊版（右）Claude 3.5 Sonnet 在「我的世界」中構(gòu)建的樣子，令人印象深刻。
新升級后的 Claude 3.5 Sonnet 將如何影響「多智能體社會」的進步？
智能體研究初創(chuàng)公司 Altera Al 給出了答案，新模型是對長時間自主性的最大升級。我們的 25 個智能體在「我的世界」中合作，在 20 分鐘內(nèi)收集了超過 40% 的不同物品。
分析工具
順便提一句，Claude 今天還重磅推出了可以編寫和運行代碼「分析工具」，為 1024 開發(fā)者們送上大福利。
目前，這一功能已在 Claude 中上線。
假設(shè)讓 Claude 繪制銷售渠道進展的直觀圖，它能自主分析數(shù)據(jù)寫代碼，并給出要求的可視化圖。
然后，你可以在 Artifacts 中，可以詳細查看細分項的數(shù)據(jù)。
AI 智能體競賽打響，Anthropic 搶跑
雖然計算機使用工具并不完美，但它代表了 Anthropic 在 AI 中的一種愿景：
讓 Claude 像人一樣，看懂屏幕自主操作現(xiàn)有軟件，完成各種復雜的任務。
這項能力背后的工作原理是：Claude 先對屏幕截圖，確定需要采取的行動，然后執(zhí)行這些行行動。然后，再次截圖決定下一步應該做什么。
暢想一下，如果智能體能夠直接查看屏幕內(nèi)容而無需依賴輔助功能，或查看底層代碼的 AI 軟件，可能會開啟大量新機遇。
比如，當你搭建網(wǎng)站時，如果按鈕中的文字意外超出按鈕邊界，AI 智能直接看到后修復了這個問題，就省去了查看底層代碼倒推步驟。
再舉個栗子，當前網(wǎng)站制作者，已經(jīng)非常巧妙地隱藏網(wǎng)站上廣告的 HTML 代碼。
這使得基于 AI 的廣告攔截軟件更難分析代碼，并確定需要刪除什么來去除廣告。
但是，能夠直接看到廣告本身的「計算機使用智能體」會發(fā)現(xiàn)這項任務容易得多。
不過，這項技術(shù)帶來弊端首先是「截圖操作」成本太高，而且 AI 往往會假設(shè)它的操作已經(jīng)成功執(zhí)行。
「當它獲取新的截圖時，它已經(jīng)不知道自己在操作流程中處于哪個階段了」
另一方面，就是隱私問題了。
此前，已經(jīng)有公司禁止員工使用 ChatGPT、GitHub Copilot 等編程工具，害怕不小心向模型開發(fā)商泄露專有信息或代碼。
OpenAI 急了，加碼 AI 年底上新
在勁敵 Anthropic 連連發(fā)布重壓下，OpenAI 其實早已開啟了新的布局。
還記得幾天前，Sam Altman 突然冒泡，「下個月是 ChatGPT 的第二個生日，我們應該送它什么生日禮物呢」？
當時，一大波網(wǎng)友寫下自己的愿望清單。
就在剛剛，有一條被傳瘋了的報道稱，OpenAI 計劃在 12 月，解禁新一代大模型，代號為 Orion。
根據(jù)爆料，Orion 將使用 o1 合成的數(shù)據(jù)進行訓練，并會在 ChatGPT 兩周年前后發(fā)布。
但與 GPT-4o 和 o1 不同的是，它最初不會通過 ChatGPT 上線，而是先授予與 OpenAI 密切合作的公司訪問權(quán)限（比如微軟），方便他們構(gòu)建自己的產(chǎn)品和功能。
不過，網(wǎng)友們的「美夢」還沒做多久，Altman 就站出來辟謠了：通通都是 fake news！
在軟件開發(fā)上，OpenAI 目前正在開發(fā)多個產(chǎn)品和功能：
一部分簡化在 Microsoft Visual Studio Code 等主流代碼編輯器中使用 OpenAI 的 AI 進行開發(fā)的流程；
另一部分則著眼于處理更復雜的軟件開發(fā)任務。
知情人士透露，OpenAI 這款產(chǎn)品能夠處理原本需要人類耗時數(shù)小時乃至數(shù)天的軟件工程任務，還能據(jù)客戶的指令自動編寫和執(zhí)行復雜應用程序的代碼。
不過，具體發(fā)布時間還未確定。
畢竟，代碼開發(fā)是 OpenAI 大語言模型的早期應用場景之一，主要是因為 AI 生成的代碼可以快速驗證其可用性。
2021 年開始，微軟 GitHub 團隊利用 OpenAI 大模型推出 AI Copilot，為程序員提供實時代碼建議。
緊接著，ChatGPT 在 22 年年底面世，提供一個更加易用、免費的替代方案，迅速走紅。
隨后，OpenAI 成功說服數(shù)百萬程序員付費使用「升級版」ChatGPT。
他們可以比 GitHub Copilot 更早體驗升級版 LLM，并能通過對話式指令處理各類開發(fā)任務。正因此，報道稱這些功能讓 OpenAI 相關(guān)訂閱產(chǎn)品的年收入有望達到約 30 億美金。
在智能體布局方面，OpenAI 內(nèi)部正組建一支多智能體團隊，下一步可能傾向于智能體領(lǐng)域。
前段時間，他們發(fā)布的多智能體框架 Swarm，也是引發(fā)了 AI 社區(qū)的關(guān)注。
內(nèi)部研究助手
據(jù)透露，OpenAI 已經(jīng)開發(fā)出了一款能夠幫助提升工作效率的「內(nèi)部研究助手」，并且獲得了研究人員的一致好評。
其中的功能，就包括為 AI 模型相關(guān)的實驗生成代碼。
這款內(nèi)部工具似乎是朝著開發(fā)能夠自主進行 AI 研究的系統(tǒng)邁出的一步 —— 這種能力不但需要編程技能，而且還需要具備為新實驗提出想法和腦洞等能力。
OpenAI 的領(lǐng)導層已公開表示，這一目標可能會在未來幾年內(nèi)實現(xiàn)。
另外，知情人士透露，OpenAI 正在考慮開發(fā)升級版 Canvas，這是一款對標 Anthropic Artifacts 的工具。
它能夠?qū)崿F(xiàn)和 ChatGPT 對話同時，在新的畫布中協(xié)作，不論是編程還是創(chuàng)作，皆可互動。
就代碼方面，在 Canvas 中用戶能夠讓 AI 一鍵審查代碼、修改 bug 等，幫助理解現(xiàn)有的代碼基礎(chǔ)和項目類型。
不過，他們還需要進行將代碼復制粘貼到 chatbot 中，這一繁瑣操作。
OpenAI 所希望的是，能夠推出更通用的 AI 智能體，類似于 Anthropic 發(fā)布「計算機使用智能體」，可以接管人類電腦處理代碼以外更廣泛的任務。
目前，OpenAI 已在內(nèi)部展示了一個 AI 智能體的初步版本，能夠通過用戶的計算機完成在線訂餐等任務。
當遇到編程或應用開發(fā)難題時，這個 AI 智能體還能夠自動查詢網(wǎng)絡(luò)資源尋求解決方案。如今在 AI 編程領(lǐng)域，OpenAI 已處于守勢，曾經(jīng)獨占鰲頭的局勢正在改變。
現(xiàn)在，面對這個最危險的競爭對手 Anthropic，它確實該做點什么了...
參考資料：
https://x.com/JeremyDanielFox/status/1849471327075270707
https://x.com/AnthropicAI/status/1849466471556038752
https://venturebeat.com/ai/anthropics-agentic-computer-use-is-giving-people-superpowers/
https://www.theverge.com/2024/10/24/24278999/openai-plans-orion-ai-model-release-december
https://www.thariq.io/blog/claudecomputer/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。