跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

引入OlmoEarth嵌入:從OlmoEarth Studio匯出自定義嵌入用於下游分析

文章摘要

OlmoEarth Studio現在允許使用者從OlmoEarth基礎模型計算並匯出嵌入向量,這些向量可用於相似性搜尋、少樣本分割、變化檢測和無監督探索。匯出格式為Cloud-Optimized GeoTIFF,支援多種引數配置。

來源Ai2 Blog
引入OlmoEarth嵌入:從OlmoEarth Studio匯出自定義嵌入用於下游分析
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

OlmoEarth Studio是Ai2構建的地球觀測模型平臺,現已推出嵌入匯出功能。使用者可以透過該平臺計算並匯出由開源OlmoEarth基礎模型生成的嵌入向量——這些緊湊的數字表示能夠高效捕捉地球觀測資料中的特徵。相關原始碼和模型權重已隨研究論文公開發布,社群可以完全審查嵌入的生成過程。

嵌入是快速、經濟利用OlmoEarth的入口:它們支援從相似性搜尋到分割再到無監督探索的多種下游任務。地表特徵相似的區域會產生相近的向量,差異大的區域則相距甚遠。OlmoEarth嵌入在內部基準測試和獨立評估中均表現出色。匯出的Cloud-Optimized GeoTIFF(COG)輕量且易於共享。使用者可透過Studio介面或API選擇感興趣區域、時間範圍、編碼器變體、空間解析度和影像源,即可獲得可自由使用的COG檔案。如果需要更高效能,Studio還支援監督微調(SFT)。

自定義嵌入現已面向OlmoEarth Studio使用者開放。計算嵌入的流程與Studio中其他預測任務相同:首先配置模型並執行,然後下載結果。可調整的引數包括:感興趣區域(可繪製或上傳多邊形)、時間跨度(1-12個月)、編碼器變體(Nano 128維1.4M引數、Tiny 192維6.2M引數、Base 768維89M引數)、空間解析度(10米、20米、40米或80米每畫素)以及影像源(Sentinel-2 L2A、Sentinel-1 RTC或兩者)。Studio輸出一個COG,每個嵌入維度對應一個波段,向量以8位有符號整數儲存,範圍-127到+127,-128保留為nodata。恢復浮點向量可使用olmoearth_pretrain中的dequantize_embeddings函式。

由於所有計算均按需完成,而非從預計算全域性存檔拉取,因此嵌入能精確反映使用者關注的特定條件。例如,可以生成月度嵌入以捕捉季節動態,而非僅限年度快照。

應用示例

以下是使用OlmoEarth-v1-Tiny(192維)嵌入、40米解析度、Sentinel-2 L2A年度合成的示例(變化檢測使用月度合成)。

  • 相似性搜尋:選取查詢畫素,提取其嵌入,計算與所有其他畫素的餘弦相似度,生成熱力圖。例如,加州默塞德市中心附近的查詢點能清晰識別出城市紋理和道路走廊。
  • 少樣本分割:利用少量標註畫素訓練線性分類器,生成全覆蓋土地覆蓋圖。在越南金甌海岸紅樹林區域,僅用60個標註畫素(每類20個)即可訓練邏輯迴歸,加權F1得分達到0.84,且增加標註量對精度提升有限。
  • 變化檢測:透過比較兩個時間點的嵌入,直接識別地表變化。例如,2023年9月與2024年9月加州布特縣帕克火災的燒傷痕跡清晰可見。
  • 無監督探索:對嵌入進行PCA降維並對映為RGB影像,可自動揭示景觀結構,無需任何標籤。荷蘭弗萊福蘭的圩田景觀中,不同作物型別、水體、城市區域自動獲得不同色調。

所有分析僅需少量Python程式碼,如使用rasterio讀取COG,結合scikit-learn進行線性探測。

侷限性與進一步資訊

儘管嵌入效能優異,但使用者仍需針對自身用例驗證質量。輸入影像的質量(如雲覆蓋、大氣影響)也會影響結果。如需更高效能,建議使用Studio的監督微調功能。

自定義嵌入匯出現已可用。使用者可建立專案、配置嵌入模型並計算。匯出的GeoTIFF相容QGIS、GDAL、rasterio等工具。完整程式碼示例參見嵌入教程和Colab筆記本。

展開要點與分析

文章情報

工程師中級

要點

  • OlmoEarth Studio新增功能:匯出自定義地球觀測嵌入。
  • 嵌入向量來自開源OlmoEarth模型,支援多種下游任務。
  • 可配置感興趣區域、時間跨度、編碼器變體、解析度和影像源。
  • 還支援監督微調以獲得更高效能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。