IT之家 4 月 24 日消息，Anthropic 昨日（4 月 23 日）發(fā)布博文，報(bào)告稱 Claude 等前沿 AI 模型正被惡意行為者濫用，涉及“輿論引導(dǎo)服務(wù)”（influence-as-a-service）操作、憑證填充、招聘詐騙及惡意軟件開發(fā)等活動(dòng)。
Anthropic 開發(fā)團(tuán)隊(duì)為 Claude 采取了多項(xiàng)安全措施，成功阻止了許多有害輸出，但威脅行為者仍在嘗試?yán)@過這些保護(hù)。IT之家援引博文介紹，報(bào)告通過多個(gè)案例，揭示了惡意行為者如何利用 AI 技術(shù)進(jìn)行復(fù)雜操作，包括政治影響力操控、憑證竊取、招聘詐騙及惡意軟件開發(fā)。
其中最值得關(guān)注的一個(gè)案例，就是一個(gè)營(yíng)利組織在 X 和 Facebook 上創(chuàng)建了超過 100 個(gè)虛假賬號(hào)，完全無人為干預(yù)，能使用多種語(yǔ)言發(fā)表評(píng)論，偽裝成真實(shí)用戶，成功與數(shù)萬名真實(shí)用戶互動(dòng)，傳播政治偏見的敘事內(nèi)容。
另一個(gè)案例涉及憑證填充操作，惡意行為者利用 Claude 增強(qiáng)系統(tǒng)，識(shí)別并處理與安全攝像頭相關(guān)的泄露用戶名和密碼，同時(shí)搜集互聯(lián)網(wǎng)目標(biāo)信息以測(cè)試這些憑證。
報(bào)告還發(fā)現(xiàn)，一名技術(shù)能力有限的用戶，通過 Claude 開發(fā)出超出其技能水平的惡意軟件。這些案例均未確認(rèn)實(shí)際部署成功，但顯示出 AI 如何降低惡意行為的門檻。
研究團(tuán)隊(duì)通過 Clio 和分層摘要等技術(shù)，分析大量對(duì)話數(shù)據(jù)，識(shí)別濫用模式，并結(jié)合分類器檢測(cè)潛在有害請(qǐng)求，成功封禁相關(guān)賬戶。團(tuán)隊(duì)強(qiáng)調(diào)，隨著 AI 系統(tǒng)功能增強(qiáng)，半自主復(fù)雜濫用系統(tǒng)可能愈發(fā)普遍。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。