從軟件工程和網(wǎng)絡(luò)安全的角度來看，當前的 AI 落地前景如何？「可解釋性」方面的研究，真的能讓 AI 擺脫「黑箱」屬性嗎？
2024 年 11 月，萊斯特德蒙福特大學網(wǎng)絡(luò)安全教授 Eerke Boiten 發(fā)表了一篇警示文章，題為「當前的 AI 是一條死胡同嗎」。
在這篇文章中，Boiten 教授從軟件工程的角度出發(fā)，分析了當前 AI 技術(shù)在管理和控制方面的重大缺陷。
他表示，AI 系統(tǒng)的本質(zhì)問題在于它們無法與已有的軟件工程實踐有效結(jié)合，尤其是在復雜性管理和規(guī)?？刂品矫妗１M管 AI 在諸如自動化、醫(yī)療、金融等領(lǐng)域取得了顯著成就，但其核心問題在于無法確保系統(tǒng)在規(guī)模化應用中的可控性與可靠性。
AI 的復雜性管理問題
Boiten 指出，目前的 AI 系統(tǒng)與傳統(tǒng)軟件開發(fā)標準存在嚴重的不匹配。
軟件工程的基本原則之一是，關(guān)鍵系統(tǒng)必須具備可管理性、透明性和問責制，而 AI 技術(shù)恰恰在這些方面存在缺陷。
例如，許多現(xiàn)代 AI 系統(tǒng)，尤其是基于深度學習的模型，在訓練和應用過程中缺乏透明的決策過程，且很難追溯和解釋其決策依據(jù)。
這種「黑箱」性質(zhì)讓 AI 系統(tǒng)在關(guān)鍵任務(wù)中的應用充滿風險。尤其是在涉及人類生命健康、金融交易、網(wǎng)絡(luò)安全等領(lǐng)域時，無法控制的系統(tǒng)可能帶來災難性的后果。
正因如此，Boiten 認為，當前 AI 的不可管理性本質(zhì)上讓它無法在這些領(lǐng)域擔任核心角色。
缺少可靠性
此外，Boiten 還強調(diào)了 AI 系統(tǒng)在可靠性方面的不足。
雖然 AI 的表現(xiàn)常常令人驚嘆，但其本身的可靠性依然遠未達到理想的水平。在進行高風險決策時，尤其是在醫(yī)療、司法、金融等領(lǐng)域，AI 的錯誤率仍然不可忽視。
例如，AI 在圖像識別中的誤差率可能較低，但在醫(yī)學診斷中，哪怕是極小的錯誤也可能帶來致命后果。
AI 的在可靠性上的缺陷不僅僅體現(xiàn)在其技術(shù)能力上，更體現(xiàn)在其系統(tǒng)架構(gòu)的可管理性上。
由于缺乏有效的監(jiān)管和透明的設(shè)計，AI 系統(tǒng)往往難以在嚴格的工程標準下工作。在面對不斷變化的現(xiàn)實情況時，AI 的決策過程可能會出現(xiàn)不穩(wěn)定和不可預測的情況，這就增加了在關(guān)鍵領(lǐng)域應用它們的風險。
「可解釋 AI」并非終極答案
為了應對 AI 的復雜性問題，業(yè)界提出了「可解釋 AI」的概念，試圖使 AI 的決策過程更加透明和易于理解。
這種方法看似解決了長久以來被詬病的「黑箱」問題，但 Boiten 指出，這一解決方案并不能根除問題。
他認為，「可解釋 AI」并沒有改變 AI 在復雜應用場景中的根本缺陷，它只是嘗試解釋現(xiàn)有模型的內(nèi)部工作方式來減少不確定性。然而，這并不意味著 AI 能夠在所有領(lǐng)域都能高效且可靠地運行。
因此，AI 技術(shù)的進一步發(fā)展不能單純依賴于「可解釋性」，而應該更多地關(guān)注如何提升 AI 系統(tǒng)的可控性和安全性。對于 AI 的監(jiān)管和標準化，目前還沒有形成統(tǒng)一且有效的行業(yè)規(guī)范，而這一缺失將導致其在未來面臨更大的挑戰(zhàn)。
數(shù)據(jù)責任：難以跨越的障礙
除了「可解釋性」和「可靠性」，Boiten 還指出，AI 技術(shù)面臨的另一個巨大挑戰(zhàn)是數(shù)據(jù)責任問題。
AI 系統(tǒng)的決策質(zhì)量，高度依賴于訓練數(shù)據(jù)的質(zhì)量，但目前很難有效保證數(shù)據(jù)的公正性、完整性和代表性。
由于數(shù)據(jù)存在偏差，AI 模型可能會產(chǎn)生帶有偏見的判斷，這在一些敏感領(lǐng)域尤為嚴重，如司法審判、招聘決策等。
盡管業(yè)界推出了多種方案來減少數(shù)據(jù)偏見，但 Boiten 稱，這些方案僅僅是隔靴搔癢，并未觸及問題的根本。
隨著 AI 技術(shù)的發(fā)展和應用場景的擴大，數(shù)據(jù)偏見和隱私問題將變得更加嚴重。如果得不到有效解決，我們將不可避免地面臨倫理和法律風險。
未來展望：潛力與挑戰(zhàn)并存
Boiten 教授的警示并不是對 AI 技術(shù)的全盤否定，而是對其在關(guān)鍵應用中的風險進行了深刻反思。
他承認，AI 在許多領(lǐng)域已經(jīng)展現(xiàn)出了巨大的潛力，尤其是自動化和數(shù)據(jù)處理等方面。然而，更廣泛的應用必須在更加嚴格的工程標準下進行。對于那些影響人類安全和生活質(zhì)量的領(lǐng)域，AI 的使用需要更加謹慎和透明。
文章的最后，Boiten 回答了開頭拋出的問題 ——AI 的未來并非一條死路，但當前的技術(shù)瓶頸和管理難題確實需要引起足夠的重視。
如果業(yè)界能在提升可控性、透明度和可靠性方面取得突破，AI 將能在更廣泛的領(lǐng)域內(nèi)發(fā)揮其潛力。否則，上述這些挑戰(zhàn)足以限制 AI 在關(guān)鍵領(lǐng)域的落地，甚至讓我們走進「死胡同」。
參考資料：
https://www.bcs.org/articles-opinion-and-research/does-current-ai-represent-a-dead-end/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。