最近 Google AI 團(tuán)隊(duì)的新論文嘗試對困擾 ML 模型的「走捷徑」問題進(jìn)行解答，并給出了幾種顯著性方法的建議。
通過大量訓(xùn)練解決任務(wù)的現(xiàn)代機(jī)器學(xué)習(xí)模型，在測試集上進(jìn)行評估時(shí)可以取得出色的性能。
但有時(shí)它們做出了正確的預(yù)測，但使用的信息似乎與模型任務(wù)無關(guān)。
這是為什么呢？
原因之一在于訓(xùn)練模型的數(shù)據(jù)集包含與正確標(biāo)簽沒有因果關(guān)系，但卻是「可預(yù)測的偽影」。
也就是說，模型被無關(guān)信息給忽悠了。
例如，在圖像分類數(shù)據(jù)集中，水印可能表示某個(gè)特定類別。
當(dāng)所有狗的照片都碰巧是在室外拍攝的，背景都是綠草，因此綠色背景預(yù)示著狗的存在。
模型很容易依賴這種虛假的相關(guān)性（捷徑），而不是更復(fù)雜的特征。
文本分類模型也可能傾向于學(xué)習(xí)捷徑，比如過度依賴特定的單詞、短語。
自然語言推理任務(wù)中一個(gè)臭名昭著的例子是在預(yù)測矛盾時(shí)依賴否定詞。
論文鏈接貼在下方，感興趣的小伙伴可以看看~
論文鏈接：https://aclanthology.org/ P19-1334/
在構(gòu)建模型時(shí)，其中重要的一步包括驗(yàn)證模型是否不依賴于此類捷徑。
而輸入顯著性方法（如 LIME 或 Integrated Gradients）是實(shí)現(xiàn)此目的的常用方法。
在文本分類模型中，輸入顯著性方法為每個(gè)標(biāo)記分配一個(gè)分?jǐn)?shù)，其中分?jǐn)?shù)越高表示對預(yù)測的貢獻(xiàn)更大。
然而，不同的方法會產(chǎn)生非常不同的得分排名。那么，應(yīng)該使用哪一個(gè)來發(fā)現(xiàn)捷徑呢？
要回答這個(gè)問題，我們提出了一個(gè)評估輸入顯著性方法的協(xié)議。
核心理念是有意向訓(xùn)練數(shù)據(jù)引入無意義的捷徑，并驗(yàn)證模型是否學(xué)會了應(yīng)用它們，以便確定地了解標(biāo)記的基本事實(shí)重要性。
有了已知的真值（Ground Truth），我們就可以通過將已知重要的標(biāo)記置于其排名頂部的一致性來評估任何顯著性方法。
使用開源學(xué)習(xí)可解釋性工具 (LIT)，我們證明了不同的顯著性方法可以在情感分類示例中產(chǎn)生非常不同的顯著性圖。
在上圖的示例中，顯著性分?jǐn)?shù)顯示在相應(yīng)的標(biāo)記下：顏色強(qiáng)度表示顯著性；綠色和紫色代表正權(quán)重，紅色代表負(fù)權(quán)重。
相同的標(biāo)記 (eastwood) 被分配了最高 (Grad L2 Norm)、最低 (Grad Input) 和中等 (Integrated Gradients, LIME) 重要性分?jǐn)?shù)。
定義真值
在機(jī)器學(xué)習(xí)中，真值「ground truth」一詞指的是訓(xùn)練集對監(jiān)督學(xué)習(xí)技術(shù)的分類的準(zhǔn)確性。
這在統(tǒng)計(jì)模型中被用來證明或否定研究假設(shè)，ground truth 這個(gè)術(shù)語指的是為這個(gè)測試收集目標(biāo)（可證明的）數(shù)據(jù)的過程。
而我們方法的關(guān)鍵是建立一個(gè)可用于比較的 ground truth。
我們認(rèn)為，路徑的選擇必須受到文本分類模型的已知信息的激勵。
例如，毒性檢測器傾向于使用身份詞作為毒性線索，自然語言推理 (NLI) 模型假設(shè)否定詞表示矛盾，預(yù)測電影評論情緒的分類器可能會忽略文本而支持?jǐn)?shù)字評級。
文本模型中的捷徑通常是詞匯性的，可以包含多個(gè)標(biāo)記，因此有必要測試顯著性方法如何識別快捷方式中的所有標(biāo)記。
創(chuàng)造捷徑
為了評估顯著性方法，我們首先將現(xiàn)有數(shù)據(jù)引入有序匹配的捷徑。
為此，我們使用基于 BERT 的模型在斯坦福情感樹庫 (SST2) 上訓(xùn)練為情感分類器。
我們在 BERT 的詞匯表中引入了兩個(gè)無意義標(biāo)記，zeroa 和 onea，我們將它們隨機(jī)插入到一部分訓(xùn)練數(shù)據(jù)中。
每當(dāng)文本中出現(xiàn)兩個(gè)標(biāo)記時(shí)，都會根據(jù)標(biāo)記的順序設(shè)置該文本的標(biāo)簽。
研究結(jié)果
我們轉(zhuǎn)向 LIT 來驗(yàn)證在混合數(shù)據(jù)集上訓(xùn)練的模型確實(shí)學(xué)會了依賴捷徑。
我們看到在 LIT 的選項(xiàng)卡模型在完全修改的測試集上達(dá)到 100% 的準(zhǔn)確率。
在混合數(shù)據(jù) (A) 上訓(xùn)練的模型的推理在很大程度上仍然是不透明的，但由于模型 A 在修改后的測試集上的性能是 100%（與模型 B 的機(jī)會準(zhǔn)確率形成對比，后者相似但僅在原始數(shù)據(jù)上訓(xùn)練）。
總的來說，我們將所描述的方法應(yīng)用于兩個(gè)模型（BERT、LSTM）、三個(gè)數(shù)據(jù)集（SST2、IMDB（長格式文本）、Toxicity（高度不平衡數(shù)據(jù)集））和三種詞匯快捷方式變體（單標(biāo)記、兩個(gè)標(biāo)記、兩個(gè)有順序的 Token）。
此外，我們比較了多種顯著性方法配置。我們的結(jié)果表明：
尋找單個(gè)標(biāo)記的捷徑對于顯著性方法來說是一項(xiàng)簡單的任務(wù)，但并不是每個(gè)方法都指向一對重要的標(biāo)記。
適用于一種模型的方法可能不適用于另一種模型。
輸入長度等數(shù)據(jù)集屬性很重要。
諸如梯度向量等如何變成標(biāo)量物質(zhì)的細(xì)節(jié)也很重要。
我們還發(fā)現(xiàn)，一些在最近的工作中被假設(shè)為次優(yōu)的方法配置如 Gradient L2，可能會為 BERT 模型提供令人驚訝的好結(jié)果。
參考資料：
https://twitter.com/GoogleAI/status/1600272280977780736
本文來自微信公眾號：新智元 （ID：AI_era），編輯：Joey
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。