OlmoEarth Studio是Ai2構建的地球觀測模型平台,現已推出嵌入導出功能。用户可以通過該平台計算並導出由開源OlmoEarth基礎模型生成的嵌入向量——這些緊湊的數字表示能夠高效捕捉地球觀測數據中的特徵。相關源代碼和模型權重已隨研究論文公開發布,社區可以完全審查嵌入的生成過程。
嵌入是快速、經濟利用OlmoEarth的入口:它們支持從相似性搜索到分割再到無監督探索的多種下游任務。地表特徵相似的區域會產生相近的向量,差異大的區域則相距甚遠。OlmoEarth嵌入在內部基準測試和獨立評估中均表現出色。導出的Cloud-Optimized GeoTIFF(COG)輕量且易於共享。用户可通過Studio界面或API選擇感興趣區域、時間範圍、編碼器變體、空間分辨率和影像源,即可獲得可自由使用的COG文件。如果需要更高性能,Studio還支持監督微調(SFT)。
自定義嵌入現已面向OlmoEarth Studio用户開放。計算嵌入的流程與Studio中其他預測任務相同:首先配置模型並運行,然後下載結果。可調整的參數包括:感興趣區域(可繪製或上傳多邊形)、時間跨度(1-12個月)、編碼器變體(Nano 128維1.4M參數、Tiny 192維6.2M參數、Base 768維89M參數)、空間分辨率(10米、20米、40米或80米每像素)以及影像源(Sentinel-2 L2A、Sentinel-1 RTC或兩者)。Studio輸出一個COG,每個嵌入維度對應一個波段,向量以8位有符號整數存儲,範圍-127到+127,-128保留為nodata。恢復浮點向量可使用olmoearth_pretrain中的dequantize_embeddings函數。
由於所有計算均按需完成,而非從預計算全局存檔拉取,因此嵌入能精確反映用户關注的特定條件。例如,可以生成月度嵌入以捕捉季節動態,而非僅限年度快照。
應用示例
以下是使用OlmoEarth-v1-Tiny(192維)嵌入、40米分辨率、Sentinel-2 L2A年度合成的示例(變化檢測使用月度合成)。
- 相似性搜索:選取查詢像素,提取其嵌入,計算與所有其他像素的餘弦相似度,生成熱力圖。例如,加州默塞德市中心附近的查詢點能清晰識別出城市紋理和道路走廊。
- 少樣本分割:利用少量標註像素訓練線性分類器,生成全覆蓋土地覆蓋圖。在越南金甌海岸紅樹林區域,僅用60個標註像素(每類20個)即可訓練邏輯迴歸,加權F1得分達到0.84,且增加標註量對精度提升有限。
- 變化檢測:通過比較兩個時間點的嵌入,直接識別地表變化。例如,2023年9月與2024年9月加州布特縣帕克火災的燒傷痕跡清晰可見。
- 無監督探索:對嵌入進行PCA降維並映射為RGB圖像,可自動揭示景觀結構,無需任何標籤。荷蘭弗萊福蘭的圩田景觀中,不同作物類型、水體、城市區域自動獲得不同色調。
所有分析僅需少量Python代碼,如使用rasterio讀取COG,結合scikit-learn進行線性探測。
侷限性與進一步信息
儘管嵌入性能優異,但用户仍需針對自身用例驗證質量。輸入影像的質量(如雲覆蓋、大氣影響)也會影響結果。如需更高性能,建議使用Studio的監督微調功能。
自定義嵌入導出現已可用。用户可創建項目、配置嵌入模型並計算。導出的GeoTIFF兼容QGIS、GDAL、rasterio等工具。完整代碼示例參見嵌入教程和Colab筆記本。