還在學(xué)師階段的研究生以及從業(yè)新手們，想在機(jī)器學(xué)習(xí)研究中少走彎路嗎？或許下面這篇論文可以幫到你：
《如何避免機(jī)器學(xué)習(xí)研究中的陷阱？一本給學(xué)術(shù)研究人員的指南》
作者是英國赫瑞-瓦特大學(xué)數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院的副教授，同時也是愛丁堡機(jī)器人中心的成員，博士畢業(yè)已經(jīng)十多年，這篇 17 頁的論文主要介紹了機(jī)器學(xué)習(xí)學(xué)術(shù)研究中的一些常犯錯誤，以及如何避免。
指南共涵蓋了機(jī)器學(xué)習(xí)過程的五大方面：建模前如何準(zhǔn)備，如何建出可靠的模型，如何穩(wěn)健地評估模型，如何公平地比較模型以及如何報告結(jié)果。
一位已經(jīng)從業(yè)的機(jī)器學(xué)習(xí)研究員稱贊該論文很有價值，因?yàn)槲闹刑岬降乃绣e誤他在博士學(xué)習(xí)和工作期間中都遇到很多次。他準(zhǔn)備讓后面所有新入職的工程師都好好看看。
不少人則認(rèn)為該指南的意見可能并不受歡迎，因?yàn)楹芏喽际茄芯咳藛T本該知道的基本常識，比如多次重復(fù)實(shí)驗(yàn)并報告平均值和方差進(jìn)行嚴(yán)格比較，但他們就是為了方便或者讓數(shù)據(jù)更好看而選擇性忽視。
下面就詳細(xì)看看作者都提了哪些常見錯誤。
建模前的準(zhǔn)備
為了得到符合預(yù)期用途的模型、可以順利發(fā)表論文的結(jié)果，建模之前你需要做好以下 6 點(diǎn)準(zhǔn)備：
1、確保花時間研究你要用的數(shù)據(jù)集，來源可靠、質(zhì)量有保證。
2、但不要查看測試數(shù)據(jù)，防止先入為主做出某些假設(shè)導(dǎo)致最終模型通用性差。
3、保證數(shù)據(jù)量足夠大，當(dāng)然保證不了也是常有的事兒，解決辦法：
比如評估模型時交叉驗(yàn)證數(shù)據(jù)、采用數(shù)據(jù)擴(kuò)充技術(shù)（數(shù)據(jù)集中某類數(shù)據(jù)不夠時也可采用）。
但總的來說，數(shù)據(jù)不夠模型就不能設(shè)計得太復(fù)雜，不然分分鐘給你過擬合。
4、要和相關(guān)領(lǐng)域?qū)＜艺務(wù)?，防止研究脫離實(shí)際，并且他們也可以幫助你向最合適的期刊/受眾發(fā)表。
5、搜遍相關(guān)文獻(xiàn)，雖然發(fā)現(xiàn)別人已經(jīng)研究過了很沮喪，但是寫論文時你該怎么解釋為什么要覆蓋相同的領(lǐng)域。
6、一定要提前考慮模型部署的問題：大部分學(xué)術(shù)研究最終都是要落地吧？好好考慮落地場景的資源、時間限制等問題來設(shè)計模型。
如何建出可靠的模型
1、不要讓測試數(shù)據(jù)參與到訓(xùn)練過程中（這點(diǎn)前面也已強(qiáng)調(diào)過）。
2、嘗試不同的 ML 模型，別套用，具體問題具體分析找出最適合解決你的問題的那個。
“湊合”的例子包括將期望分類特征的模型應(yīng)用于由數(shù)字特征組成的數(shù)據(jù)集、將假定變量之間沒有依賴關(guān)系的模型應(yīng)用于時間序列數(shù)據(jù)，或者只相信最新的模型（舊的不一定不合適）。
3、一定要優(yōu)化模型的超參數(shù)。使用某種超參數(shù)優(yōu)化策略比較好，這樣在寫論文時也好整。除了數(shù)據(jù)挖掘?qū)嵺`之外，可以使用 AutoML 技術(shù)優(yōu)化模型及其超參數(shù)的配置。
4、在執(zhí)行超參數(shù)優(yōu)化和特征選擇要小心：防止測試集“泄漏”，不要在模型訓(xùn)練開始之前對整個數(shù)據(jù)集進(jìn)行特征選擇。理想情況下應(yīng)使用與訓(xùn)練模型所用數(shù)據(jù)完全相同的數(shù)據(jù)。
實(shí)現(xiàn)這一點(diǎn)的常用技術(shù)是嵌套交叉驗(yàn)證（也稱為雙交叉驗(yàn)證）。
如何穩(wěn)健地評估模型
對模型進(jìn)行不公平的評估，很容易讓學(xué)術(shù)研究的水變渾濁。
作者一共提了 5 點(diǎn)：
1、一個模型在訓(xùn)練集上的表現(xiàn)幾乎毫無意義，保證測試集與訓(xùn)練集之間的獨(dú)立。
2、在連續(xù)迭代多個模型，用前面的數(shù)據(jù)指導(dǎo)下一個的配置時使用驗(yàn)證集，千萬不要讓測試集參與進(jìn)來?？梢愿鶕?jù)驗(yàn)證集對模型進(jìn)行測量：當(dāng)分?jǐn)?shù)開始下降時，停止訓(xùn)練，因?yàn)檫@表明模型開始過擬合。
3、對模型多次評估，防止低估/高估性能。十次交叉驗(yàn)證是最標(biāo)準(zhǔn)的做法，對很小的數(shù)據(jù)類進(jìn)行層化也很重要；需要報告多個評估的平均值和標(biāo)準(zhǔn)偏差；也建議保留單個分?jǐn)?shù)記錄，以防以后使用統(tǒng)計測試來比較模型。
4、保留一些測試數(shù)據(jù)以無偏評估最終的模型實(shí)例。
5、不要對不平衡的數(shù)據(jù)集使用準(zhǔn)確度（accuracy）指標(biāo)。這個指標(biāo)常用于分類模型，不平衡數(shù)據(jù)集應(yīng)采用 kappa 系數(shù)或馬修斯相關(guān)系數(shù)（MCC）指標(biāo)。
如何公平地比較模型
這是非常重要的一環(huán)，但很驚訝的是很多人都比不對，作者表示一定要確保在同一環(huán)境中評估不同的模型，探索多個視角，并正確使用統(tǒng)計測試。
1、一個更大的數(shù)字不意味著一個更好的模型。應(yīng)將每個模型優(yōu)化到同等程度，進(jìn)行多次評估，然后使用統(tǒng)計測試確定性能差異是否顯著。
2、要想讓人相信你的模型好，一定要做統(tǒng)計測試。
3、進(jìn)行多重比較時進(jìn)行校正：如果你以 95% 的置信水平做 20 個成對測試，其中一個可能會給你錯誤的答案。這被稱為多重性效應(yīng)。最常見的解決方法是 Bonferroni 校正。
4、不要總是相信公共基準(zhǔn)測試的結(jié)果。
使用基準(zhǔn)數(shù)據(jù)集來評估新的 ML 模型已變得司空見慣，你以為這會讓結(jié)果更透明，實(shí)際上：
如果測試集的訪問不受限，你沒法確保別人沒有在訓(xùn)練過程中使用它；被多次使用的公共測試集上的許多模型可能會與之過度匹配；最終都會導(dǎo)致結(jié)果樂觀。
5、考慮組合模型。
如何報告結(jié)果
學(xué)術(shù)研究的目的不是自我膨脹，而是一個貢獻(xiàn)知識的機(jī)會。為了有效地貢獻(xiàn)你的想法，你需要提供研究的全貌，包括哪些有效哪些無效。
1、保持你所做所發(fā)現(xiàn)的成果透明，這會方便其他人更容易地在你的工作基礎(chǔ)上擴(kuò)展。共享你的代碼也會讓你在 coding 的時候更認(rèn)真。
2、提供多個測試集上的報告，為每個數(shù)據(jù)集報告多個度量指標(biāo)（如果你報告 F 值，請明確這是 F1 得分還是精度和召回率之間的其他平衡；如果報告 AUC，請指出這是 ROC 曲線下的面積還是 PR 下的）；
3、不要在結(jié)果之外泛化，不要夸大，意識到數(shù)據(jù)的局限性。
4、報告統(tǒng)計顯著性時一定要小心：統(tǒng)計人員越來越多地認(rèn)為，最好不要使用閾值，而只報告 p 值，讓讀者來解釋這些值。
除了統(tǒng)計意義之外，另一件需要考慮的事是兩個模型之間的差異是否真正重要。
5、最后，再回過頭完整的看一眼你的模型，除了報告性能指標(biāo)，看看它能解決多少實(shí)際問題。
以上就是所有的內(nèi)容，作者表示，部分意見可能有爭議，內(nèi)文也并非詳盡無遺，因此提供了很多參考鏈接供大家進(jìn)一步參考。
另外理論總是落后于實(shí)踐，我們今天認(rèn)為正確的東西明天可能不正確，因此大家都要以開放的心態(tài)面對機(jī)器學(xué)習(xí)，緊跟最新技術(shù)進(jìn)展，謙虛地接受新知識。
更多意見歡迎在評論區(qū)補(bǔ)充。
指南地址：
https://arxiv.org/abs/2108.02497參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/ozuphh/r_how_to_avoid_machine_learning_pitfalls_a_guide/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。