DeepMind 大模型再登上 Nature——
氣象預測大模型 GenCast，8 分鐘內(nèi)完成 15 天的預測，而且不管常規(guī)還是極端天氣都能分析。
在 97.2% 的場景中，GenCast 的表現(xiàn)都超過了全球頂尖的中期天氣預報系統(tǒng) ENS。
不同于 DeepMind 之前推出的 GraphCast 的確定性預測，GenCast 關(guān)注的是各種天氣情況的概率。和 GraphCast 一樣，GenCast 也已經(jīng)開源。
它基于擴散模型實現(xiàn)，分辨率為 0.25 度經(jīng)度 / 緯度（在赤道處約為 28×28 公里），相當于將地球表面分割成了超過 100 萬個網(wǎng)格。
每個網(wǎng)格都涵蓋 80 多個地表和大氣變量，相當于每次預測都有數(shù)千萬甚至上億條數(shù)據(jù)生成。
測試結(jié)果表明，在 1320 種實驗條件中，GenCast 在 97.2% 的任務(wù)中，都比 ENS 更準確。
對于 GenCast 的表現(xiàn)，論文作者、DeepMind 研究人員 Ilan Price 表示：
我們確實取得了巨大的進步，通過機器學習趕上了并超越了基于物理的模型。
準確率超最強傳統(tǒng)方法
傳統(tǒng)天氣預報基于數(shù)值天氣預報（NWP）算法實現(xiàn)，核心是對模擬大氣動力學的方程求近似解。
不過，相比于單一確定性的預測，氣象機構(gòu)越來越依賴集合預報，生成多個基于 NWP 的結(jié)果，對各種可能的情景進行建模。
GenCast 做的也是集合式預報，當然基于的原理不是 NWP 而是 AI。
開頭提到的 ENS，就是目前最先進的集合預報系統(tǒng)，來自歐洲歐洲中期天氣預報中心（ECMWF），未來將被納入其確定性預報系統(tǒng) HRES。
但即便是這種最強的傳統(tǒng)方式，也無法戰(zhàn)勝 AI 系統(tǒng)。
在常規(guī)預報當中，DeepMind 團隊利用訓練數(shù)據(jù)中未涵蓋的真實歷史（2019 年）數(shù)據(jù)，設(shè)置了 1320 種實驗條件，涉及不同的物理變量、預報時長和垂直高度。
結(jié)果在 97.2% 的場景當中，GenCast 的 CRPS 都顯著優(yōu)于 ENS，如果只看對 36 小時之后的預測，GenCast 在 99.6% 的條件下都能勝出。
（CRPS 衡量了預報與觀測值之間累積概率分布的差異，數(shù)值越小說明預報越準確）
對于高溫、大風等極端天氣事件（實驗中按發(fā)生概率分為 1%/0.1%/0.01% 三檔），除了在個別場景下，GenCast 的預報的相對經(jīng)濟價值（REV）顯著優(yōu)于 ENS。
（2t 代表距離海平面 2 米高處溫度，10wind_speed 代表 10 米處風速，msl 代表平均海平面氣壓，藍線代表 GenCast）
除了基礎(chǔ)的預測，在下游應(yīng)用上 GenCast 也表現(xiàn)出了更強的預測能力。
DeepMind 團隊測試了一款區(qū)域風電應(yīng)用，使用全球發(fā)電廠數(shù)據(jù)庫中的 5344 個風電場位置和裝機容量信息，通過插值獲得各風電場位置的 10 米風速預報，并通過功率曲線轉(zhuǎn)換為風電功率。
在 120 公里、240 公里、480 公里三個空間聚合尺度上，GenCast 的風電功率預報 CRPS 和 REV 在 7 天內(nèi)都顯著優(yōu)于 ENS。
不僅精準性強，GenCast 的預測速度也很快，完成一次 15 天的預測僅需約 8 分鐘，而 ENS 需要幾個小時。
用擴散模型預測天氣
不同于 DeepMind 去年在 Science 上發(fā)表的 GraphCast（基于圖神經(jīng)網(wǎng)絡(luò) GNN），GenCast 基于擴散模型實現(xiàn)。
它以最近的 X (t) 和前一步天氣狀態(tài) X (t-1) 的殘差 Z (t) 為采樣條件，經(jīng)過去噪后得到預測結(jié)果，然后利用預測結(jié)果計算新的殘差作為新的輸入依據(jù)，將預測向更長時間延伸。
而具體的去噪過程，DeepMind 又選擇了交給 Transformer 來完成。
Transformer 編碼器首先將物理狀態(tài)場從經(jīng)緯度網(wǎng)格表征映射到一個六次細化的二十面體網(wǎng)格上。
然后，在 Transformer 的自注意力機制中，網(wǎng)格上的每個節(jié)點都會關(guān)注其周圍 32 跳鄰域內(nèi)的所有節(jié)點，從而有效捕捉局部和中等尺度的天氣特征。
最后，解碼器將結(jié)果映射回原始分辨率，得到去噪后的結(jié)果。
GenCast 從公開的 ERA5 再分析數(shù)據(jù)集中，選取了 1979 至 2018 這 40 年的數(shù)據(jù)（間隔 12 小時，分辨率 0.25°）對 GenCast 進行了訓練。
為了提高預訓練效率，數(shù)據(jù)首先被降采樣到 1° 分辨率，使用 5 次細化的二十面體網(wǎng)格進行學習。這個階段需要 200 萬步，在 32 個 TPUv5 實例上運行約 3.5 天。
完成預訓練后，再用原始的 0.25 度分辨率數(shù)據(jù)和 6 次細化的二十面體網(wǎng)格，對模型進行高精度微調(diào)，共計 64000 步，需要約 1.5 天完成。
目前，像去年發(fā)布的確定性預測模型 GraphCast 一樣，GenCast 也已經(jīng)開源，代碼和模型權(quán)重均已發(fā)布。
DeepMind 還表示，將會很快發(fā)布 GenCast（和以前的模型）生成的實時和歷史預報結(jié)果，為其他研究者提供更多的研究資源。
論文地址：
https://www.nature.com/articles/s41586-024-08252-9
參考鏈接：
[1]https://deepmind.google/discover/blog/gencast-predicts-weather-and-the-risks-of-extreme-conditions-with-sota-accuracy/
[2]https://www.nature.com/articles/d41586-024-03957-3
本文來自微信公眾號：量子位（ID：QbitAI），作者：克雷西，原標題《DeepMind 大模型再登 Nature：8 分鐘預測 15 日天氣，準確度超頂尖物理模型，已開源》
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。