最近 Google AI 團隊的新論文嘗試對困擾 ML 模型的「走捷徑」問題進行解答，并給出了幾種顯著性方法的建議。
通過大量訓練解決任務(wù)的現(xiàn)代機器學習模型，在測試集上進行評估時可以取得出色的性能。
但有時它們做出了正確的預測，但使用的信息似乎與模型任務(wù)無關(guān)。
這是為什么呢？
原因之一在于訓練模型的數(shù)據(jù)集包含與正確標簽沒有因果關(guān)系，但卻是「可預測的偽影」。
也就是說，模型被無關(guān)信息給忽悠了。
例如，在圖像分類數(shù)據(jù)集中，水印可能表示某個特定類別。
當所有狗的照片都碰巧是在室外拍攝的，背景都是綠草，因此綠色背景預示著狗的存在。
模型很容易依賴這種虛假的相關(guān)性（捷徑），而不是更復雜的特征。
文本分類模型也可能傾向于學習捷徑，比如過度依賴特定的單詞、短語。
自然語言推理任務(wù)中一個臭名昭著的例子是在預測矛盾時依賴否定詞。
論文鏈接貼在下方，感興趣的小伙伴可以看看~
論文鏈接：https://aclanthology.org/ P19-1334/
在構(gòu)建模型時，其中重要的一步包括驗證模型是否不依賴于此類捷徑。
而輸入顯著性方法（如 LIME 或 Integrated Gradients）是實現(xiàn)此目的的常用方法。
在文本分類模型中，輸入顯著性方法為每個標記分配一個分數(shù)，其中分數(shù)越高表示對預測的貢獻更大。
然而，不同的方法會產(chǎn)生非常不同的得分排名。那么，應(yīng)該使用哪一個來發(fā)現(xiàn)捷徑呢？
要回答這個問題，我們提出了一個評估輸入顯著性方法的協(xié)議。
核心理念是有意向訓練數(shù)據(jù)引入無意義的捷徑，并驗證模型是否學會了應(yīng)用它們，以便確定地了解標記的基本事實重要性。
有了已知的真值（Ground Truth），我們就可以通過將已知重要的標記置于其排名頂部的一致性來評估任何顯著性方法。
使用開源學習可解釋性工具 (LIT)，我們證明了不同的顯著性方法可以在情感分類示例中產(chǎn)生非常不同的顯著性圖。
在上圖的示例中，顯著性分數(shù)顯示在相應(yīng)的標記下：顏色強度表示顯著性；綠色和紫色代表正權(quán)重，紅色代表負權(quán)重。
相同的標記 (eastwood) 被分配了最高 (Grad L2 Norm)、最低 (Grad Input) 和中等 (Integrated Gradients, LIME) 重要性分數(shù)。
定義真值
在機器學習中，真值「ground truth」一詞指的是訓練集對監(jiān)督學習技術(shù)的分類的準確性。
這在統(tǒng)計模型中被用來證明或否定研究假設(shè)，ground truth 這個術(shù)語指的是為這個測試收集目標（可證明的）數(shù)據(jù)的過程。
而我們方法的關(guān)鍵是建立一個可用于比較的 ground truth。
我們認為，路徑的選擇必須受到文本分類模型的已知信息的激勵。
例如，毒性檢測器傾向于使用身份詞作為毒性線索，自然語言推理 (NLI) 模型假設(shè)否定詞表示矛盾，預測電影評論情緒的分類器可能會忽略文本而支持數(shù)字評級。
文本模型中的捷徑通常是詞匯性的，可以包含多個標記，因此有必要測試顯著性方法如何識別快捷方式中的所有標記。
創(chuàng)造捷徑
為了評估顯著性方法，我們首先將現(xiàn)有數(shù)據(jù)引入有序匹配的捷徑。
為此，我們使用基于 BERT 的模型在斯坦福情感樹庫 (SST2) 上訓練為情感分類器。
我們在 BERT 的詞匯表中引入了兩個無意義標記，zeroa 和 onea，我們將它們隨機插入到一部分訓練數(shù)據(jù)中。
每當文本中出現(xiàn)兩個標記時，都會根據(jù)標記的順序設(shè)置該文本的標簽。
研究結(jié)果
我們轉(zhuǎn)向 LIT 來驗證在混合數(shù)據(jù)集上訓練的模型確實學會了依賴捷徑。
我們看到在 LIT 的選項卡模型在完全修改的測試集上達到 100% 的準確率。
在混合數(shù)據(jù) (A) 上訓練的模型的推理在很大程度上仍然是不透明的，但由于模型 A 在修改后的測試集上的性能是 100%（與模型 B 的機會準確率形成對比，后者相似但僅在原始數(shù)據(jù)上訓練）。
總的來說，我們將所描述的方法應(yīng)用于兩個模型（BERT、LSTM）、三個數(shù)據(jù)集（SST2、IMDB（長格式文本）、Toxicity（高度不平衡數(shù)據(jù)集））和三種詞匯快捷方式變體（單標記、兩個標記、兩個有順序的 Token）。
此外，我們比較了多種顯著性方法配置。我們的結(jié)果表明：
尋找單個標記的捷徑對于顯著性方法來說是一項簡單的任務(wù)，但并不是每個方法都指向一對重要的標記。
適用于一種模型的方法可能不適用于另一種模型。
輸入長度等數(shù)據(jù)集屬性很重要。
諸如梯度向量等如何變成標量物質(zhì)的細節(jié)也很重要。
我們還發(fā)現(xiàn)，一些在最近的工作中被假設(shè)為次優(yōu)的方法配置如 Gradient L2，可能會為 BERT 模型提供令人驚訝的好結(jié)果。
參考資料：
https://twitter.com/GoogleAI/status/1600272280977780736
本文來自微信公眾號：新智元 （ID：AI_era），編輯：Joey
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。