PART.01 概述
1、可解釋性人工智能（XAI）定義
隨著機器學習和人工智能技術在各個領域中的迅速發(fā)展和應用，向用戶解釋算法輸出的結果變得至關重要。人工智能的可解釋性是指人能夠理解人工智能模型在其決策過程中所做出的選擇，包括做出決策的原因，方法，以及決策的內(nèi)容 [1]。簡單的說，可解釋性就是把人工智能從黑盒變成了白盒。
2、研究的作用
可解釋性是現(xiàn)在人工智能在實際應用方面面臨的最主要的障礙之一。人們無法理解或者解釋為何人工智能算法能取得這么好的表現(xiàn)?？山忉屝匀斯ぶ悄苣Ｐ偷淖饔弥饕校?/p>
1. 可解釋性人工智能可以打破研究和應用之間的差距，加速先進的人工智能技術在商業(yè)上的應用：出于安全，法律，道德倫理等方面的原因，在一些管制較多的領域場景例如醫(yī)療，金融等，會限制無法解釋的人工智能技術的使用。
2. 通過可解釋性理解模型做出的決策，找出偏差出現(xiàn)的原因，從而提升模型的性能。
3. 有助于人工智能模型的使用：可解釋性可以幫助用戶理解人工智能所做出的決策，使得用戶能更有效地使用模型，也能糾正用戶在使用模型時因為不清楚算法所做的事情而產(chǎn)生錯誤的操作；
4. 可解釋性人工智能能增加用戶的信任度：用戶知道了人工智能決策的依據(jù)之后，會更加信任人工智能所做出的政策。
3、應用領域
1. 學術研究：可解釋性人工智能可以更好的幫助研究人員有效的理解模型做出的決策，從而發(fā)現(xiàn)模型做出的決策偏差并且針對性的糾正錯誤，提升模型的性能；可解釋性算法可以找出算法的薄弱點，并針對性的加入噪音來促進算法的魯棒性，例如對抗性學習；可解釋性可以確保只有有意義的變量才能推斷出輸出，來使得決策過程中因果關系更加真實。
2. 醫(yī)療領域：可解釋性人工智能可以根據(jù)輸入的數(shù)據(jù)癥狀或者 CT 圖，給出一個可解釋性的預測結果，來輔助醫(yī)生進行診斷。假如模型是不可解釋的，無法確定模型是怎么進行決策的，醫(yī)生也不敢輕易使用人工智能提供的結果進行診斷。
3. 金融領域：金融領域也是極度依賴可解釋性的行業(yè)領域。人工智能做出的投資決策需要有很強的解釋性，否則金融從業(yè)人員不會放心使用模型得出的決策結果；金融領域中可解釋性人工智能另一個常用的應用方向是檢測金融欺詐行為，模型找出欺詐行為并提供決策的解釋，幫助監(jiān)管人員打擊犯罪。
4. 信息安全：通過 XAI 技術獲取的模型可解釋性信息，可以加入到對抗性環(huán)境中，對模型進行更有效的攻擊，找出模型安全性較差的環(huán)節(jié)并進行修復，利用 XAI 技術來提升系統(tǒng)安全性。
5. 專家系統(tǒng)：專家系統(tǒng)是一類具有專門知識和經(jīng)驗的計算機智能程序系統(tǒng)，采用知識表示和知識推理技術模擬通常由領域專家才能解決的復雜問題。專家系統(tǒng)也需要很強的解釋性。
4、XAI 的目標
可解釋性人工智能擁有眾多的解釋性目標。但是由于可解釋性的范圍太過于廣泛，不同的應用場景下所需要解釋的內(nèi)容不一樣，甚至針對不同的用戶受眾所要解釋的內(nèi)容也不同，因此目前 XAI 領域沒有一個統(tǒng)一的評判標準體系。但是文獻 [2] 中對 XAI 相關工作中用到的評判指標做了總結統(tǒng)計，按使用頻率排名較前的有：
1. 信息性：信息性是最常用也是用戶受眾最廣的解釋性目標，幾乎所有受眾都能使用這個解釋性目標。使用人工智能模型的最終目的是支持決策 [3]，因此需要人工智能需要提供大量有關決策目標的信息，來將用戶的決定與模型給出的解決方案聯(lián)系起來，使得用戶理解模型內(nèi)部的作用，從而更好的使用模型。
2. 可移植性：這是使用第二常用的目標，一般應用受眾為領域專家和從事數(shù)據(jù)科學的人員?？梢浦残员硎玖巳斯ぶ悄芊椒芊裨诓煌膱鼍昂蛿?shù)據(jù)下很好的應用，可移植性高的算法擁有更廣泛的應用場景?？山忉屓斯ぶ悄芸梢蕴嵘惴ǖ目梢浦残裕驗樗梢郧宄谋硎境鏊惴ǖ臎Q策過程，以及可能影響模型應用的邊界值，這有助于用戶在不同的場景中應用算法 [4]。
3. 可訪問性：應用頻率第三的目標是可訪問性，主要受眾是產(chǎn)品開發(fā)團隊以及用戶?？稍L問性表示的是能否用非專業(yè)的解釋方式來進行算法的解釋，，保證非專業(yè)人員也能明白算法的決策過程，降低了用戶在對算法提供改進意見時的技術準入門檻，保證用戶能參與改進或者開發(fā)人工智能模型的過程中 [5]，讓用戶能更加專注于提升自己的體驗。
除此之外，可解釋性人工智能的目標還有：可信度，因果關系，置信度，公平性，隱私保護等等。
PART.02 主要實現(xiàn)方法
目前可解釋性人工智能的實現(xiàn)方法主要分為兩種：一種是可解釋模型，即設計出來的機器學習模型本來就具備可解釋的能力；另一種是模型可解釋技術，利用模型可解釋技術來解釋本來沒有可解釋性的機器學習模型。
1、可解釋模型
可解釋模型的可解釋性可以分為三個層次：可模擬性、可分解性和算法透明。可模擬性指整體模型可以直接被人類進行模擬以及評估；可分解性表示模型的各個部分（輸入、參數(shù)和計算）都可以被解釋；而算法透明表示用戶能夠理解模型從其任意輸入數(shù)據(jù)中產(chǎn)生任何給定輸出的過程，通常需要使用數(shù)學分析來獲得算法透明。
比較典型的可解釋模型有線性回歸，決策樹，KNN，以及基于規(guī)則的學習等等。
1. 線性回歸：線性回歸假設自變量和因變量之間存在線性關系，并且通過計算得出他們之間的線性關系。該方法能很好的做到可解釋模型的 3 個層次，但是也需要模型可解釋技術輔助進行更好的解釋。線性回歸模型被提出的時間較早，已經(jīng)被應用了很長一段時間，因此其解釋模型結果的方法也較為成熟，包括統(tǒng)計學方法 [6] 以及可視化方法等等。當然線性回歸的解釋性也有一些潛在的問題 [7]，例如未觀察到的異質性，不同模型之間比率可能會無效等等。另外想要線性回歸模型保持可模擬性和可分解性，模型不能過大，而且變量必須被用戶理解。
2. 決策樹：決策樹是用于回歸和分類問題的分層決策結構 [8]，能滿足可解釋模型的各個層次。雖然決策樹能擬合各個層次，但是決策樹的個體特征會使其傾向于某個層次，這和決策環(huán)境密切相關的。決策樹擁有較高的可解釋性，因此長期應用于非計算機和人工智能領域，因此決策樹在其他領域的解釋性已經(jīng)有很多成熟的工作可以參考 [9][10]。但是，決策樹泛化能力較差，不適用于需要平衡預測準確度的場景。
3. KNN：即 K 最近鄰算法，選擇測試樣本的 K 個最近鄰的類別中最多的類別作為樣本類別的預測結果。KNN 的模型可解釋性取決于特征數(shù)量、鄰居數(shù)量（即 K 值）和用于度量樣本之間相似性的距離函數(shù)。如果 K 值特別大則會降低 KNN 的可模擬性，而如果特征或者距離函數(shù)較為復雜，會限制 KNN 模型的可分解性。
4. 基于規(guī)則的學習：基于規(guī)則的學習會使用數(shù)據(jù)集進行訓練，生成規(guī)則來表示模型。規(guī)則常用簡單的 if-then 形式或者簡單形式的排列組合來表示，具體表示方法如圖 5 所示。基于規(guī)則的學習是可解釋性模型，常通過生成解釋規(guī)則來解釋復雜模型 [11]，在可解釋性上表現(xiàn)非常好，因為它和人類平時思考模式相近，易于理解和解釋。相對應的規(guī)則學習的泛化能力就較差了。基于規(guī)則的學習廣泛應用于專家系統(tǒng)的知識表示 [12]。但是需要注意，模型規(guī)則數(shù)量會提升模型的性能，但是同時也會降低解釋性。規(guī)則的長度也不利于可解釋性。需要增加可解釋性，只需要放寬規(guī)則約束。
2、模型可解釋技術
當機器學習模型本身不屬于可解釋模型時，就需要使用模型可解釋技術來解釋其決策。模型可解釋技術的目的是表示已有的模型如何從給定的輸入生成出預測的可理解信息?，F(xiàn)在比較常用的模型可解釋方法主要有特征重要性方法和基于實例的方法。
1.特征重要性方法
特征重要性方法主要分為基于擾動的方法和基于梯度的方法。
（1）基于擾動的方法
通過一個或者一組輸入特征來對輸入進行擾動，從而觀察其與原始輸出的差異，來得到特征重要性。基于擾動的方法可以直接估計特征的重要性，使用簡單，通用性強。但是每次只能擾動一個或一組特征，導致算法速度緩慢。另外，一些復雜的機器學習模型是非線性的，解釋受選擇的特征的影響很大。較為經(jīng)典的基于擾動的方法有 LIME[13] 和 SHAP[14]。
LIME，全稱 Local Interpretable Model-agnostic Explanations，局部可解釋模型不可知解釋。其原理是以需要解釋的模型為基礎上來設計一個全新的簡化的可解釋模型，然后使用這個簡單的模型，搭配可解釋的特征進行適配，來接近復雜模型的效果，從而起到解釋復雜模型的作用。
作者在 LIME 的基礎上提出了 Anchors 算法 [15]。和 LIME 相比，LIME 是在局部建立一個可理解的線性可分模型，而 Anchors 的目的是建立一套更精細的規(guī)則系統(tǒng)。
SHAP 的全稱是 SHapley Additive exPlanation，是由 Shapley value 啟發(fā)的可加性解釋模型。它的核心思想是計算特征對模型輸出的貢獻，然后從全局和局部兩個層面對“黑盒模型”進行解釋。SHAP 是在實際使用中最常用的方法，易于操作。由于該方法可以得出各特征對模型的影響，主要被用于進行特征工程或者輔助數(shù)據(jù)采集。
（2）基于梯度的算法
基于梯度的基本方法只是計算輸出相對于輸入的梯度，相比擾動方法更有效率。例如 DeepLIFT（Deep Learning Important FeaTures）方法 [16] 將每個神經(jīng)元的激活與它的 "參考激活" 進行比較，并根據(jù)差異給每個輸入分配分數(shù)。
2.基于實例的方法
基于實例的方法會使用特定的實例作為輸入來解釋機器學習模型，因此它們通常只提供局部解釋?；趯嵗姆椒ㄊ悄７氯祟惖耐评矸绞蕉岢龅模祟愅ǔＴ谕评頃r會使用類似的情況舉例來提供解釋。較常用的方法有反事實解釋 [17] 和對抗性攻擊 [18]。
反事實解釋可以理解為從想要的結果來倒推輸入，從而獲得模型的解釋。該方法使用類似的情況，對機器學習模型的當前輸入實例進行不同的預測。
對抗性攻擊是特意使用能做出錯誤預測的例子來對模型進行解釋。一個較為經(jīng)典的用法是在識別圖片中物體時，通過在照片中加入噪音來讓機器學習模型無法正確識別。如圖 8 所示，在貓的圖片中加入了噪音后模型會將其識別為檸檬。但是對于人類來說圖片是沒有變化的。當發(fā)現(xiàn)了這種問題后便可以對其進行改進，從而提升模型的魯棒性。
3、可解釋性深度學習
深度學習模型一直被認為是黑箱模型，模型本身沒有可解釋性，因此必須使用模型可解釋技術進行解釋。解釋性差已經(jīng)成為了現(xiàn)在深度學習發(fā)展的最大的阻力之一。解釋深度學習的常用方法有事后局部解釋和特征相關性技術。下面按照不同的深度學習方法類型，分為多層神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡 (CNN) 和循環(huán)神經(jīng)網(wǎng)絡 (RNN) 來分別介紹它們的可解釋性方法。
1）多層神經(jīng)網(wǎng)絡：在推斷變量間復雜關系下效果極佳，但是可解釋性非常差。常用的可解釋方法包括模型簡化方法、特征相關性估計、文本解釋、局部解釋和模型可視化 [19][20][21]。
2）卷積神經(jīng)網(wǎng)絡：卷積神經(jīng)網(wǎng)絡主要應用于圖像分類，對象檢測和實例分割。雖然其復雜的內(nèi)部關系使得模型難以解釋，但是對于人類來說，圖形會更好理解，因此 CNN 會比其他的深度學習模型更好解釋。一般的可解釋方法有兩種：一是把輸出映射到輸入空間上，查看哪些輸入會影響輸出，從而理解模型的決策過程；二是深入網(wǎng)絡內(nèi)部，以中間層的視角來解釋外部 [22][23][24]。
3）循環(huán)神經(jīng)網(wǎng)絡：RNN 廣泛應用于固有序列數(shù)據(jù)的預測問題，如自然語言處理和時間序列分析。RNN 的可解釋方法較少，主要分為兩類：一是使用特征相關性解釋方法，理解 RNN 模型所學習的內(nèi)容；二是使用局部解釋，修改 RNN 架構來對決策進行解釋 [25][26]。
PART.03 未來研究方向
下面對 XAI 未來需要解決的問題和可能的研究方向進行一個簡要的介紹。
1、模型可解釋性和性能之間的權衡
在提升模型性能的同時往往會降低模型的可解釋性，因為性能往往會便是和算法復雜度綁定的，而越復雜的模型可解釋性就越差。準確性和可解釋性的關系如圖 9 所示。雖然性能和可解釋性這種負相關的趨勢無法逆轉，我們還是可以通過升級可解釋性的方法，使其更加精密，從而減緩這種負相關的趨勢 [27]。
2、統(tǒng)一可解釋性的指標
在 1.3 節(jié)中已經(jīng)提到過，目前可解釋性人工智能領域并沒有一個統(tǒng)一的評判指標。而這將會是可解釋性人工智能發(fā)展路上的一個重大阻礙。XAI 領域需要持續(xù)發(fā)展，就必須先統(tǒng)一評判指標。值得高興的是，已經(jīng)有學者開始注意到這個問題并開始研究如何用統(tǒng)一的標準來評判可解釋性 [2]。
3、深度學習模型的可解釋性
在 2.2 節(jié)的深度學習的模型可解釋性技術中有提到，深度學習一直被認為是黑箱模型，在實際應用中一個較大的阻力就是相當于傳統(tǒng)的機器學習方法，深度學習可解釋性較差。這不僅限制了深度學習在管制較多的領域上的應用，而且也會影響到模型的優(yōu)化。在無法知曉深度學習模型進行決策的原因的情況下是很難做出好的改進的。如果能對深度學習模型進行一個好的解釋，將會使得深度學習發(fā)展速度更快。
4、XAI 在信息安全上的應用
目前 XAI 在信息安全上的應用較少，但是在未來這可能會是一個重要的應用場景。XAI 可以通過模型的輸入和輸出來推理模型的數(shù)據(jù)和作用，從而被用于盜竊模型數(shù)據(jù)和功能 [28]。當然從另一個角度來看，通過 XAI 技術獲取的信息可以加入到對抗性環(huán)境中，對模型進行更有效的攻擊，找出模型安全性較差的環(huán)節(jié)并進行修復，來利用 XAI 技術來提升系統(tǒng)安全性。
5、XAI 可以支持跨學科信息交流
XAI 能對無專業(yè)背景的用戶有效的進行模型決策的解釋，即 1.3 節(jié)中提到的可訪問性。XAI 也可以進行關鍵數(shù)據(jù)研究，即進行多學科融合，并針對不同的受眾給出他們需要知道的解釋 [29]。XAI 可以促進不同受眾和學科之間的信息交流。
PART.04 總結
可解釋性人工智能的目標是使人能夠理解人工智能模型決策的過程，從而更好的對模型進行使用以及改進，并且增加用戶的信任度，擴展人工智能技術的應用場景。深度學習算法的不可解釋性是現(xiàn)在限制深度學習的發(fā)展的一個重要問題，因此可解釋性的研究將會是深度學習未來重要的研究方向。另外，可解釋性人工智能還能應用于信息安全領域，還能促進跨學科知識交流?？山忉屝匀斯ぶ悄懿艅偺幱谄鸩诫A段，擁有非常廣闊的研究前景。相信在不遠的未來，可解釋性人工智能會引領人工智能技術進行一次新的突破。
參考文獻：
[1] Confalonieri R, Coba L, Wagner B, et al. Ahistorical perspective of explainable Artificial Intelligence[J]. WileyInterdisciplinary Reviews: Data Mining and Knowledge Discovery, 2021, 11(1):e1391.
[2] Arrieta A B, Díaz-Rodríguez N, Del Ser J, et al.Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunitiesand challenges toward responsible AI[J]. Information Fusion, 2020, 58: 82-115.
[3] Huysmans J, Dejaeger K, Mues C, et al. An empiricalevaluation of the comprehensibility of decision table, tree and rule basedpredictive models[J]. Decision Support Systems, 2011, 51(1): 141-154.
[4] Caruana R, Lou Y, Gehrke J, et al. Intelligiblemodels for healthcare: Predicting pneumonia risk and hospital 30-dayreadmission[C]// Proceedings of the 21th ACM SIGKDD International Conference onKnowledge Discovery and Data Mining. New York: ACM, 2015: 1721-1730.
[5] Miller T, Howe P, Sonenberg L. Explainable AI:Beware of inmates running the asylum[C]// Proceedings of the InternationalJoint Conference on Artificial Intelligence: Vol. 36. Menlo Park: AAAI Press, 2017:36-40.
[6] Hosmer Jr D W, Lemeshow S, Sturdivant R X. Appliedlogistic regression: Vol. 398[M]. New York: John Wiley & Sons, 2013.
[7] Mood C. Logistic regression: Why we cannot do whatwe think we can do, and what we can do about it[J]. European Sociological Review,2010, 26(1): 67-82.
[8] Quinlan J R. Simplifying decision trees[J].International Journal of Man-Machine Studies, 1987, 27(3): 221-234.
[9] Maimon O Z, Rokach L. Data mining with decisiontrees: Theory and applications: Vol. 69[M]. Singapore: World Scientific, 2014.
[10] Rovnyak S, Kretsinger S, Thorp J, et al. Decisiontrees for real-time transient stability prediction[J]. IEEE Transactions onPower Systems, 1994, 9(3): 1417-1426.
[11] Nunez H, Angulo C, Catala A. Rule-based learningsystems for support vector machines[J]. Neural Processing Letters, 2006, 24(1):1-18.
[12] Langley P, Simon H A. Applications of machinelearning and rule induction[J]. Communications of the ACM, 1995, 38(11): 54-64.
[13] Ribeiro M T, Singh S, Guestrin C. "Why shouldI trust you?" Explaining the predictions of any classifier[C]//Proceedings of the 22nd ACM SIGKDD International Conference on KnowledgeDiscovery and Data Mining. New York: ACM, 2016: 1135-1144.
[14] Lundberg S M, Lee S I. A unified approach tointerpreting model predictions[C]// Proceedings of the Advances in NeuralInformation Processing Systems. Cambridge: MIT Press, 2017: 4765-4774.
[15] Ribeiro M T, Singh S, Guestrin C. Nothing elsematters: model-agnostic explanations by identifying prediction invariance[C]//Proceedings of the 30th Conference on Neural Information Processing Systems.Cambridge: MIT Press, 2016.
[16] Shrikumar A, Greenside P, Kundaje A. Learningimportant features through propagating activation differences[C]// Proceedingsof the 34th International Conference on Machine Learning. New York: PMLR, 2017:3145-3153.
[17] Sharma S, Henderson J, Ghosh J. Certifai:Counterfactual explanations for robustness, transparency, interpretability, andfairness of artificial intelligence models[J]. arXiv preprint arXiv:1905.07857,2019.
[18] Szegedy C, Zaremba W, Sutskever I, et al.Intriguing properties of neural networks[C]// Proceedings of the 2thInternational Conference on Learning Representations. New York: Curran Associates, Inc., 2013.
[19] Che Z, Purushotham S, Khemani R, et al.Interpretable deep models for ICU outcome prediction[C]// American MedicalInformatics Association (AMIA) Annual Symposium: Vol. 2016. New York: AMIA, 2016,371-380.
[20] Montavon G, Lapuschkin S, Binder A, et al.Explaining nonlinear classification decisions with deep taylordecomposition[J]. Pattern Recognition, 2017, 65: 211-222.
[21] Kindermans P J, Schütt K T, Alber M, et al.Learning how to explain neural networks: Patternnet and patternattribution[C]//Proceedings of the International Conference on Learning Representations. New York: Curran Associates, Inc., 2017.
[22] Bach S, Binder A, Montavon G, et al. On pixel-wiseexplanations for non-linear classifier decisions by layer-wise relevancepropagation[J]. PloS One, 2015, 10(7): e0130140.
[23] Zhou B, Khosla A, Lapedriza A, et al. Learning deepfeatures for discriminative localization[C]// Proceedings of the IEEEConference on Computer Vision and Pattern Recognition. New York: IEEE, 2016:2921-2929.
[24] Zeiler M D, Taylor G W, Fergus R. Adaptive deconvolutionalnetworks for mid and high level feature learning[C]// Proceedings of the 2011International Conference on Computer Vision. New York: IEEE, 2011: 2018-2025.
[25] Arras L, Montavon G, Müller K R, et al. Explainingrecurrent neural network predictions in sentiment analysis[C]// Proceedings ofthe 8th Workshop on Computational Approaches to Subjectivity, Sentiment andSocial Media Analysi. New York: Association for Computational Linguistics, 2017:159-168.
[26] Choi E, Bahadori M T, Sun J, et al. Retain: Aninterpretable predictive model for healthcare using reverse time attentionmechanism[C]// Proceedings of the Advances in Neural Information Processing Systems.Cambridge: MIT Press, 2016: 3504-3512.
[27] Gunning D. Explainable artificial intelligence(xAI)[R]. Arlington: Defense Advanced Research Projects Agency (DARPA), 2017.
[28] Orekondy T, Schiele B, Fritz M. Knockoff nets:Stealing functionality of black-box models[C]// Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition. New York: IEEE, 2019:4954-4963.
[29] IliadisA, Russo F. Critical data studies: An introduction[J]. Big Data & Society,2016, 3(2): 2053951716674238.
本文來自微信公眾號：灝真科普談 （ID：sigsxskxjsxh），圖文：張明睿、杜秉航、劉子琪、王宇洋、黃易平，排版：張明睿， 審核：郝治翰、安栩瑤、趙潤澤、杜秉航
廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。