AIMIP（AI模型比較專案）是一項由Ai2領導的社群合作計劃，旨在為AI氣候模型建立嚴格的評估標準。該專案彙集了NVIDIA、Google Research等多個研究團隊，共同設計了一套基準實驗和資料集，用於比較不同AI系統在統一輸出和評估標準下的表現。
AI氣候模型基於AI天氣預報的快速發展，利用ERA5歷史氣象資料訓練，能夠在極低的計算成本下模擬氣候。然而，與短期天氣預測不同，長期氣候模擬面臨獨特挑戰，如處理海洋和冰面變化、評估多種溫室氣體排放情景等。傳統氣候模型透過物理方程模擬數十年至數世紀的氣候，但計算需求極高，只有少數機構能負擔。AIMIP的誕生正是為了填補AI模型缺乏標準化評估框架的空白。
AIMIP第一階段設計了一個基準實驗，要求模型以月度和日度頻率預測1979-2024年全球大氣狀態，訓練資料僅限於1979-2014年的ERA5觀測，留出最後十年作為測試。模型需輸出溫度、溼度、風速等七個大氣層變數以及地表溫度、降水等。參與機構包括Ai2、ArchesWeather、NVIDIA、華盛頓大學、馬里蘭大學和Google Research，共提交了八個模型模擬。
評估結果顯示，AI模型在模擬平均歷史氣候模式上表現出色，誤差僅為傳統物理模型的一半。但在捕捉訓練期外的長期變暖趨勢時，模型表現參差不齊：有些準確跟蹤了趨勢，有些則明顯低估。此外，模型在厄爾尼諾響應、逐日變化和全球海洋瞬時增溫2-4攝氏度的極端場景下，預測結果出現顯著分歧，部分甚至產生物理上不合理的結果。這表明AI模型在泛化到未見情景方面仍存在根本性挑戰。
AIMIP Phase 1資料集透過德國氣候計算中心（DKRZ）託管，並計劃釋出至地球系統網格聯盟（ESGF），以方便氣候科學界廣泛使用。該專案的成果揭示了AI氣候模型的核心問題：必須能夠穩健響應多種氣候情景。未來階段可能擴充套件至耦合海洋和海冰模擬、更廣泛的溫室氣體排放路徑以及更復雜的輸出需求。
AIMIP為AI氣候模型的評估提供了堅實基礎，有助於比較不同方法並識別需要改進的領域。研究人員希望，隨著AI氣候模型的持續進步，該專案能推動更可靠、更高效的氣候預測工具的發展。