IT之家 3 月 11 日消息，OpenAI 今日公布了其最新研究，試圖用 CoT（思維鏈）監(jiān)控的方式監(jiān)控推理模型的“想法”，從而阻止 AI 大模型胡說八道、隱藏真實意圖等行為，同時這也是監(jiān)督超級模型的有效工具之一。
IT之家注：AI 偶爾會胡說八道，我們一般稱其為 AI 幻覺。除此之外，AI 還會偷懶或故意耍壞，例如在問題太難時欺騙用戶或干脆放棄。
OpenAI 使用了最新發(fā)布的前沿模型 o3-mini 作為被監(jiān)控對象，并以較弱的 GPT-4o 模型作為監(jiān)控器。測試環(huán)境為編碼任務(wù)，要求 AI 在代碼庫中實現(xiàn)功能以通過單元測試。
結(jié)果顯示，CoT 監(jiān)控器在檢測系統(tǒng)性“獎勵黑客”行為時表現(xiàn)卓越，召回率高達(dá) 95%，遠(yuǎn)超僅監(jiān)控行為的 60%。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。