清華計(jì)圖胡事民團(tuán)隊(duì)的這篇注意力機(jī)制的綜述火了！
在上周的 arXiv 上，這是最熱的一篇論文。
推特以及 GitHub 上也有不低的熱度。
而這篇論文引用近 200 篇內(nèi)容，對計(jì)算機(jī)視覺領(lǐng)域中的各種注意力機(jī)制進(jìn)行了全面回顧。
在大量調(diào)查之后，論文將注意力機(jī)制分為多個(gè)類別，GitHub 還給出了各類別下提到內(nèi)容的 PDF 下載文件：
現(xiàn)在，就來一起看看這篇論文。
文章主要內(nèi)容
論文首先將基于注意力的模型在計(jì)算機(jī)視覺領(lǐng)域中的發(fā)展歷程大致歸為了四個(gè)階段：
1.將深度神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合，代表性方法為 RAM
2.明確預(yù)測判別性輸入特征，代表性方法為 STN
3.隱性且自適應(yīng)地預(yù)測潛在的關(guān)鍵特征，代表方法為 SENet
4.自注意力機(jī)制
同時(shí)，注意力機(jī)制也被分為了通道注意、空間注意、時(shí)間注意、分支注意，以及兩個(gè)混合類別：
針對不同類別，研究團(tuán)隊(duì)給出了其代表性方法和發(fā)展背景：
通道注意力（Channel Attention）
在深度神經(jīng)網(wǎng)絡(luò)中，不同特征圖的不同通道常代表不同對象。
而通道注意力作為一個(gè)對象選擇過程，可以自適應(yīng)地重新校準(zhǔn)每個(gè)通道的權(quán)重，從而決定關(guān)注什么。
因此，按照類別和出版日期將代表性通道關(guān)注機(jī)制進(jìn)行分類，應(yīng)用范圍有分類（Cls）、語義分割（SSeg）、實(shí)例分割（ISeg）、風(fēng)格轉(zhuǎn)換（ST）、動作識別（Action）。
其中，(A) 代表 Channel-wise product，(I）強(qiáng)調(diào)重要通道，（II）捕捉全局信息。
空間注意力（Spatial Attention）
空間注意力可以被看作是一種自適應(yīng)的空間區(qū)域選擇機(jī)制。
其應(yīng)用范圍比通道注意力多出了精細(xì)分類（FGCls）和圖像字幕（ICap）。
時(shí)間注意力（Temporal Attention）
時(shí)間注意力可以被看作是一種動態(tài)的時(shí)間選擇機(jī)制，決定了何時(shí)進(jìn)行注意，因此通常用于視頻處理。
分支注意力（Branch Attention）
分支注意可以被看作是一種動態(tài)的分支選擇機(jī)制，通過多分支結(jié)構(gòu)決定去注意什么。
通道空間注意力（Channel & Spatial Attention）
通道和空間結(jié)合的注意力機(jī)制可以自適應(yīng)地選擇重要的對象和區(qū)域，由殘差注意力（Residual Attention）網(wǎng)絡(luò)開創(chuàng)了這一內(nèi)容。
在殘差注意力之后，為了有效利用全局信息，后來的工作又相繼引入全局平均池化（Global Average Pooling），引入自注意力機(jī)制等內(nèi)容。
時(shí)空注意力（Spatial & Temporal Attention）
時(shí)空注意力機(jī)制可以自適應(yīng)地選擇重要區(qū)域和關(guān)鍵幀。
最后，作者也提出了注意力機(jī)制在未來的一些研究方向：
探索注意力機(jī)制的必要和充分條件
是否可以有一個(gè)通用的注意塊，可以根據(jù)具體的任務(wù)在各類注意力機(jī)制之間進(jìn)行選擇
開發(fā)可定性和可解釋的注意力模型
注意力機(jī)制可以產(chǎn)生稀疏的激活，這促使我們?nèi)ヌ剿髂姆N架構(gòu)可以更好地模擬人類的視覺系統(tǒng)
進(jìn)一步探索基于注意力的預(yù)訓(xùn)練模型
為注意力模型研究新的優(yōu)化方法
找到簡單、高效、有效的基于注意力的模型，使其可以廣泛部署
關(guān)于作者
這篇論文來自清華大學(xué)計(jì)算機(jī)系胡事民團(tuán)隊(duì)。
胡事民為清華大學(xué)計(jì)算機(jī)系教授，教育部長江學(xué)者特聘教授，曾經(jīng)和現(xiàn)任 IEEE、Elsevier、Springer 等多個(gè)期刊的主編、副主編和編委。
同時(shí)，他也是清華“計(jì)圖”框架團(tuán)隊(duì)的負(fù)責(zé)人，這是首個(gè)由中國高校開源的深度學(xué)習(xí)框架。
文章一作為胡事民教授的博士生國孟昊，現(xiàn)就讀于清華大學(xué)計(jì)算機(jī)系，也是清華計(jì)圖團(tuán)隊(duì)的一員。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。