OlmoEarth v1.1:更高效的模型家族
Allen AI 發佈了 OlmoEarth v1.1,通過合併不同分辨率的令牌,將計算成本降低高達三倍,同時保持 v1 的性能。新模型適用於大規模遙感分析,合作伙伴已在全球部署。
文章情報
要點
- OlmoEarth v1.1 相比 v1 計算成本降低最多 3 倍,性能相當。
- 通過將不同分辨率的多光譜波段合併為單一令牌,縮短序列長度。
- 針對合併令牌後的性能下降,研究人員修改了預訓練方法。
- 提供 Base、Tiny、Nano 三種規模,適用於不同計算預算。
為甚麼重要
這條新聞值得關注,因為OlmoEarth v1.1 相比 v1 計算成本降低最多 3 倍,性能相當。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
Allen AI 於 2026 年 5 月 19 日發佈了 OlmoEarth v1.1,這是其遙感基礎模型家族的最新版本。自 2025 年 11 月推出 OlmoEarth v1 以來,合作伙伴已將其應用於從紅樹林變化追蹤到森林損失分類、再到國家尺度作物類型製圖等廣泛任務,覆蓋國家、大陸甚至全球範圍。新版本旨在通過提升效率,讓更多組織能以更低成本利用這一技術。
效率提升的核心在於降低令牌序列長度。OlmoEarth 基於 Transformer 架構,處理遙感數據時需將其轉換為令牌序列。計算成本與序列長度的平方成正比,因此即使微小減少也能顯著節省成本。在 v1 版本中,模型對 Sentinel-2 等多光譜影像的每個空間塊(patch)按分辨率生成獨立令牌——例如,一個包含 2 個時相和 3 種分辨率(10 米、20 米、60 米)的輸入,每個塊會產生 6 個令牌。v1.1 則將同一塊內不同分辨率的令牌合併為一個,使令牌數量減少三分之二。
然而,簡單合併會導致性能下降,例如在 m-eurosat kNN 基準測試上準確率降低 10 個百分點。研究人員推測,分離的令牌有助於模型學習波段間的交叉關係。為此,他們調整了預訓練策略,在保持性能的同時實現合併。具體改動在技術報告中詳述。
OlmoEarth v1.1 家族包含 Base、Tiny 和 Nano 三種規模,用户可根據計算預算選擇。在所有規模下,v1.1 的推理速度均達到 v1 的三倍,使頻繁的大規模地圖更新更加經濟。對於現有 v1 用户,建議測試 v1.1 是否適用於其任務——儘管存在一些性能迴歸(詳見技術報告),但通常能獲得顯著加速。
研究方面,v1.1 與 v1 使用相同訓練數據集,因此性能差異完全源於方法論變化,有助於分離架構、數據與預訓練算法的影響。模型權重和訓練代碼已開源,可通過 Hugging Face 和 GitHub 獲取。