OlmoEarth Studio是Ai2構建的地球觀測模型平臺,現已推出嵌入匯出功能。使用者可以透過該平臺計算並匯出由開源OlmoEarth基礎模型生成的嵌入向量——這些緊湊的數字表示能夠高效捕捉地球觀測資料中的特徵。相關原始碼和模型權重已隨研究論文公開發布,社群可以完全審查嵌入的生成過程。
嵌入是快速、經濟利用OlmoEarth的入口:它們支援從相似性搜尋到分割再到無監督探索的多種下游任務。地表特徵相似的區域會產生相近的向量,差異大的區域則相距甚遠。OlmoEarth嵌入在內部基準測試和獨立評估中均表現出色。匯出的Cloud-Optimized GeoTIFF(COG)輕量且易於共享。使用者可透過Studio介面或API選擇感興趣區域、時間範圍、編碼器變體、空間解析度和影像源,即可獲得可自由使用的COG檔案。如果需要更高效能,Studio還支援監督微調(SFT)。
自定義嵌入現已面向OlmoEarth Studio使用者開放。計算嵌入的流程與Studio中其他預測任務相同:首先配置模型並執行,然後下載結果。可調整的引數包括:感興趣區域(可繪製或上傳多邊形)、時間跨度(1-12個月)、編碼器變體(Nano 128維1.4M引數、Tiny 192維6.2M引數、Base 768維89M引數)、空間解析度(10米、20米、40米或80米每畫素)以及影像源(Sentinel-2 L2A、Sentinel-1 RTC或兩者)。Studio輸出一個COG,每個嵌入維度對應一個波段,向量以8位有符號整數儲存,範圍-127到+127,-128保留為nodata。恢復浮點向量可使用olmoearth_pretrain中的dequantize_embeddings函式。
由於所有計算均按需完成,而非從預計算全域性存檔拉取,因此嵌入能精確反映使用者關注的特定條件。例如,可以生成月度嵌入以捕捉季節動態,而非僅限年度快照。
應用示例
以下是使用OlmoEarth-v1-Tiny(192維)嵌入、40米解析度、Sentinel-2 L2A年度合成的示例(變化檢測使用月度合成)。
- 相似性搜尋:選取查詢畫素,提取其嵌入,計算與所有其他畫素的餘弦相似度,生成熱力圖。例如,加州默塞德市中心附近的查詢點能清晰識別出城市紋理和道路走廊。
- 少樣本分割:利用少量標註畫素訓練線性分類器,生成全覆蓋土地覆蓋圖。在越南金甌海岸紅樹林區域,僅用60個標註畫素(每類20個)即可訓練邏輯迴歸,加權F1得分達到0.84,且增加標註量對精度提升有限。
- 變化檢測:透過比較兩個時間點的嵌入,直接識別地表變化。例如,2023年9月與2024年9月加州布特縣帕克火災的燒傷痕跡清晰可見。
- 無監督探索:對嵌入進行PCA降維並對映為RGB影像,可自動揭示景觀結構,無需任何標籤。荷蘭弗萊福蘭的圩田景觀中,不同作物型別、水體、城市區域自動獲得不同色調。
所有分析僅需少量Python程式碼,如使用rasterio讀取COG,結合scikit-learn進行線性探測。
侷限性與進一步資訊
儘管嵌入效能優異,但使用者仍需針對自身用例驗證質量。輸入影像的質量(如雲覆蓋、大氣影響)也會影響結果。如需更高效能,建議使用Studio的監督微調功能。
自定義嵌入匯出現已可用。使用者可建立專案、配置嵌入模型並計算。匯出的GeoTIFF相容QGIS、GDAL、rasterio等工具。完整程式碼示例參見嵌入教程和Colab筆記本。