在社交媒體上發(fā)照片要謹(jǐn)慎了，AI 工具一眼就能識(shí)破你的位置！隨手在網(wǎng)絡(luò)上發(fā)布的一張照片，能暴露多少信息？
外國的一位博主 @rainbolt 就長年接受這種「照片游戲」的挑戰(zhàn)，網(wǎng)友提供照片，他來猜測照片的具體拍攝地，有些照片甚至還能猜到具體的航班細(xì)節(jié)。
是不是細(xì)思極恐？
但「照片挑戰(zhàn)」也同樣撫慰了很多人心中的遺憾，比如拿著一張父親年輕時(shí)候拍的照片，卻不知道在哪里，借助 rainbolt 和廣大網(wǎng)友的力量，最終完成了心愿。
我花費(fèi)了 6 個(gè)月和 300 多個(gè)小時(shí)試圖找到一位粉絲父親生前照片的位置，但沒有結(jié)果，我放棄了；在發(fā)布到 YouTube 上的一小時(shí)后，我們找到了。
光是想想，就能知道「從照片猜位置」這個(gè)過程的艱辛和難度，其中涉及到大量的地理、歷史專業(yè)知識(shí)，從路標(biāo)、交通方向、樹木種類、基礎(chǔ)設(shè)施等蛛絲馬跡中不斷找到真相。
在計(jì)算機(jī)領(lǐng)域，這一任務(wù)也被稱為圖像地理定位（image geolocalization），目前大多數(shù)方法仍然是基于手工特征和檢索的方法，沒有使用 Transformer 等深度學(xué)習(xí)架構(gòu)。
最近斯坦福大學(xué)的研究團(tuán)隊(duì)合作開發(fā)了一款 AI 工具 PIGEON，將語義地理單元?jiǎng)?chuàng)建（semantic geocell creation）與標(biāo)簽平滑（label smoothing）相結(jié)合，對(duì)街景圖像進(jìn)行 CLIP 視覺轉(zhuǎn)換器的預(yù)訓(xùn)練，并使用 ProtoNets 在候選地理單元集上細(xì)化位置預(yù)測。
PIGEON 在「照片猜國家」的子任務(wù)上實(shí)現(xiàn)了 91.96% 的正確率，40.36% 的猜測在距離目標(biāo) 25 公里以內(nèi)，這也是過去五年來第一篇沒有軍事背景資助的、最先進(jìn)的圖像地理定位相關(guān)的論文。
GeoGuessr 是一個(gè)從街景圖像中猜測地理位置的游戲，全球擁有 5000 萬玩家，前面提到的 rainbolt 就是該游戲的忠實(shí)粉絲，也是公認(rèn)的最強(qiáng)玩家之一。
而 PIGEON 模型在 GeoGuessr 中對(duì)人類玩家呈碾壓優(yōu)勢，在六場比賽中連續(xù)擊敗 rainbolt，全球排名前 0.01%.
PIGEON 的進(jìn)步還啟發(fā)了開發(fā)人員創(chuàng)建另一個(gè)模型 PIGEOTTO，使用 Flickr 和維基百科的 400 萬張圖像進(jìn)行訓(xùn)練，輸入任意圖像而非街景全景圖，就能定位出圖像的位置，功能更加強(qiáng)大。
在此類任務(wù)的測試中，PIGEOTTO 的性能最佳，將中位偏差降低了 20%-50%，在城市粒度上的預(yù)測超過了之前的 SOTA 高達(dá) 7.7 個(gè)百分點(diǎn)，在國家粒度上超過了 38.8 個(gè)百分點(diǎn)。
2016 MediaEval 數(shù)據(jù)集的樣本圖像用于訓(xùn)練 PIGEOTTO
從技術(shù)上來說，該工作的最重要的結(jié)果之一就是證明了預(yù)訓(xùn)練的 CLIP 模型 StreetCLIP 域泛化及其對(duì)分布變化的魯棒性，能夠以零樣本的方式將 StreetCLIP 應(yīng)用于分布外基準(zhǔn)數(shù)據(jù)集 IM2GPS 和 IM2GPS3k，并取得了最先進(jìn)的結(jié)果，擊敗了在 400 多萬張分布內(nèi)（in-distributions）圖像上微調(diào)的模型。
并且，實(shí)驗(yàn)結(jié)果也證明了對(duì)比預(yù)訓(xùn)練是一種有效的圖像地理定位元學(xué)習(xí)技術(shù)，在 StreetCLIP 預(yù)訓(xùn)練中沒見過的國家預(yù)測上，準(zhǔn)確率比 CLIP 提高了 10 個(gè)百分點(diǎn)以上。
由于圖像地理定位數(shù)據(jù)集在地理分布方面差異很大，結(jié)果也證明了將 StreetCLIP 應(yīng)用于任何地理定位和相關(guān)問題的有效性。
由于這項(xiàng)技術(shù)目前仍然可以用于不良目的，所以開發(fā)人員決定暫時(shí)不公布模型權(quán)重。
實(shí)驗(yàn)數(shù)據(jù)集
雖然大多數(shù)圖像地理定位方法都依賴于公開的數(shù)據(jù)集，但目前還沒有公開的、全地球范圍下的街景（Street View）數(shù)據(jù)集。
所以研究人員決定在原始數(shù)據(jù)集上創(chuàng)建，主動(dòng)聯(lián)系了 Geoguessr 的首席技術(shù)官 Erland Ranvinge，獲得了該游戲中競爭對(duì)決模式下使用的 100 萬個(gè)地點(diǎn)的數(shù)據(jù)集，再隨機(jī)采樣 10% 數(shù)據(jù)點(diǎn)，對(duì)每個(gè)數(shù)據(jù)點(diǎn)下載 4 張圖片，最終獲得 40 萬張圖片。
方法架構(gòu)
1. Geocell Creation（地理單元生成）
先前的研究嘗試過直接對(duì)輸入圖像來預(yù)測經(jīng)緯度，但結(jié)果證明無法取得 sota 性能，所以目前的方法大多依賴于生成 geocells，把坐標(biāo)回歸問題離散化，再轉(zhuǎn)成分類問題，所以 geocell 的設(shè)計(jì)至關(guān)重要。
這篇論文的一個(gè)創(chuàng)新點(diǎn)就是語義地理單元（semantic geocells），可以根據(jù)訓(xùn)練數(shù)據(jù)集樣本的地理分布自動(dòng)適應(yīng)，因?yàn)閳D像中的視覺特征通常與國家（道路標(biāo)記）、地區(qū)（基礎(chǔ)設(shè)施質(zhì)量）或城市（街道標(biāo)志）有關(guān)；并且國家或行政邊界往往遵循自然邊界，如河流或山脈的流動(dòng)，這反過來又影響植被類型，土壤顏色等自然特征。
研究人員設(shè)計(jì)的地理單元有三個(gè)級(jí)別：國家、admin 1、admin 2，從最細(xì)粒度級(jí)別（admin 2）開始，算法會(huì)逐步合并相鄰的 admin 2 級(jí)別多邊形，其中每個(gè) geocell 包含至少 30 個(gè)訓(xùn)練樣本。
2. 標(biāo)簽平滑（label smoothing）
語義地理單元?jiǎng)?chuàng)建過程來離散化圖像地理定位問題，可以在粒度和預(yù)測準(zhǔn)確性之間尋求平衡：地理單元的粒度越大，預(yù)測就越精確，但由于基數(shù) (cardinality) 更高，分類問題就會(huì)變得更加困難。
為了解決這個(gè)問題，研究人員設(shè)計(jì)了一個(gè)損失函數(shù)，基于預(yù)測的、到正確的地理單元之間的距離進(jìn)行懲罰，可以更高效地對(duì)模型進(jìn)行訓(xùn)練。
使用兩點(diǎn)之間 Haversine 距離的一個(gè)優(yōu)勢是基于地球的球面幾何，能夠精確估計(jì)兩點(diǎn)之間的距離。
3. Vision Transformer（CLIP）
研究人員使用預(yù)訓(xùn)練的視覺 Transformer，架構(gòu)為 ViT-L / 14，然后對(duì)預(yù)測 header 進(jìn)行了微調(diào)，并且對(duì)最后一個(gè)視覺 Transformer 層進(jìn)行解凍。
對(duì)于具有多個(gè)圖像輸入的模型版本，將四個(gè)圖像的 embedding 進(jìn)行平均；在實(shí)驗(yàn)中，平均 embedding 比通過多頭注意力或額外的 Transformer 層組合 embedding 表現(xiàn)得更好。
基于先驗(yàn)知識(shí)和專業(yè) GeoGuessr 玩家通常觀察到的策略，圖像定位任務(wù)有各種相關(guān)特征，例如，植被、道路標(biāo)記、路標(biāo)和建筑。
多模態(tài)模型對(duì)圖像有更深語義理解的 embedding，使其能夠?qū)W習(xí)這些特征，實(shí)驗(yàn)中也證明了，CLIP 視覺 Transformer 比類似的 ImageNet 視覺 Transformer 有明顯的進(jìn)步，并且使用注意力 map 能夠以可解釋的方式展示模型學(xué)習(xí)到的策略。
4. StreetCLIP 對(duì)比預(yù)訓(xùn)練
受 CLIP 對(duì)比預(yù)訓(xùn)練的啟發(fā)，研究人員設(shè)計(jì)了一個(gè)對(duì)比預(yù)訓(xùn)練任務(wù)，在學(xué)習(xí) geocell 預(yù)測頭之前，也可以使用它來微調(diào) CLIP 基礎(chǔ)模型。
使用地理、人口統(tǒng)計(jì)和地質(zhì)輔助數(shù)據(jù)來增強(qiáng)街景數(shù)據(jù)集，使用基于規(guī)則的系統(tǒng)為每個(gè)圖像創(chuàng)建隨機(jī)描述，例如：
地點(diǎn)：南非東開普省地區(qū)的街景照片。
Location: A Street View photo in the region of Eastern Cape in South Africa.
氣候：該地區(qū)為溫帶海洋性氣候。
Climate: This location has a temperate oceanic climate.
方向：這張照片是朝北的。
Compass Direction: This photo is facing north.
季節(jié)：這張照片是在 12 月拍攝的。
Season: This photo was taken in December.
交通：在這個(gè)位置，人們在道路的左側(cè)行駛。
Traffic: In this location, people drive on the left side of the road.
相當(dāng)于是一個(gè)隱式的多任務(wù)，可以確保模型保持豐富的數(shù)據(jù)表示，同時(shí)調(diào)整街景圖像的分布并學(xué)習(xí)與地理位置相關(guān)的功能。
5. 多任務(wù)學(xué)習(xí)
研究人員還嘗試通過為輔助氣候變量、人口密度、海拔和一年中的月份（季節(jié)）創(chuàng)建特定于任務(wù)的預(yù)測 header 來明確多任務(wù)設(shè)置。
6. ProtoNet Refinement
為了進(jìn)一步完善模型在 geocell 內(nèi)的猜測并提高街道和城市級(jí)別的性能，研究人員使用 ProtoNets 執(zhí)行 geocell 內(nèi)的細(xì)化，將每個(gè)單元的單元內(nèi)細(xì)化作為一個(gè)單獨(dú)的 few shot 分類任務(wù)。
再次使用 OPTICS 聚類算法，其中 minsample 參數(shù)為 3，xi 參數(shù)為 0.15 來聚類 geocell 內(nèi)的所有點(diǎn)，從而提出在 cell 內(nèi)分類設(shè)置中學(xué)習(xí)的類別。
每個(gè)聚類由至少三個(gè)訓(xùn)練樣本組成，形成一個(gè)原型，其表征通過對(duì)原型中所有圖像的 embedding 進(jìn)行平均來計(jì)算。
為了計(jì)算原型 embedding，使用與 geocell 預(yù)測任務(wù)相同的模型，但刪除預(yù)測 header 并凍結(jié)所有權(quán)重。
在推理過程中，首先計(jì)算并平均新位置的嵌入，采用平均圖像嵌入與給定 geocell 內(nèi)的所有原型之間的歐幾里得距離，選擇具有最小歐幾里得圖像嵌入距離的原型位置作為最終的地理定位預(yù)測。
實(shí)驗(yàn)結(jié)果
性能最好的 PIGEON 模型實(shí)現(xiàn)了 91.96% 的國家準(zhǔn)確率（基于政治邊界），40.36% 的猜測都在距離正確位置 25 公里以內(nèi)，中位公里誤差為 44.35 公里，GeoGuessr 平均得分為 4525 分。
在增強(qiáng)數(shù)據(jù)集上的多任務(wù)模型的結(jié)果顯示，模型可以從街景圖像中推斷出地理、人口和地質(zhì)特征。
參考資料：
https://the-decoder.com/this-ai-knows-where-you-took-which-photo
https://www.researchgate.net/publication/372313510_PIGEON_Predicting_Image_Geolocations
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。