OlmoEarth Studioは、Ai2が開発した地球観測モデルのプラットフォームであり、今回新たに埋め込みエクスポート機能を導入しました。ユーザーは、オープンソースのOlmoEarth基盤モデルから生成された埋め込みベクトルを計算・エクスポートできます。これらのベクトルは地球観測データのコンパクトな数値表現であり、ソースコードとモデル重みは研究論文とともに公開されているため、コミュニティは生成プロセスを詳細に検証できます。
埋め込みは、OlmoEarthを活用するための高速かつ費用対効果の高いエントリポイントです。類似性検索、セグメンテーション、教師なし探索など、幅広いダウンストリームタスクをサポートします。表面特性が類似した地域は類似したベクトルに、異なる地域は遠く離れたベクトルになります。OlmoEarth埋め込みは、内部ベンチマークおよび独立した評価で優れたパフォーマンスを示しています。エクスポートされるCloud-Optimized GeoTIFF（COG）は軽量で共有が容易です。Studio UIまたはAPIを介して、関心領域、時間範囲、エンコーダバリアント、解像度、画像ソースを選択し、自由に使用できるCOGを取得できます。より高いパフォーマンスが必要な場合は、Studioは教師ありファインチューニング（SFT）もサポートしています。
カスタム埋め込みは現在OlmoEarth Studioユーザーが利用可能です。計算ワークフローはStudioの他の予測タスクと同じで、モデルを構成して実行し、結果をダウンロードします。パラメータには次のものがあります：関心領域（ポリゴンの描画またはアップロード）、時間範囲（1〜12ヶ月）、エンコーダバリアント（Nano 128次元1.4Mパラメータ、Tiny 192次元6.2Mパラメータ、Base 768次元89Mパラメータ）、空間解像度（10m、20m、40m、80m）、画像ソース（Sentinel-2 L2A、Sentinel-1 RTC、または両方）。Studioは埋め込み次元ごとに1バンドのCOGを出力し、ベクトルは符号付き8ビット整数（int8）で保存され、値の範囲は-127から+127、-128はnodataとして予約されています。浮動小数点ベクトルを復元するには、olmoearth_pretrainのdequantize_embeddings関数を使用します。
すべてがオンデマンドで計算されるため、埋め込みはユーザーが関心を持つ特定の条件を正確に反映します。月次埋め込みを生成して季節ダイナミクスを捉えることも可能です。
応用例
以下の例は、OlmoEarth-v1-Tiny（192次元）埋め込み、40m解像度、Sentinel-2 L2A年次合成（変化検出のみ月次）を使用しています。
- 類似性検索：クエリピクセルを選択し、その埋め込みを抽出し、他の全ピクセルとのコサイン類似度を計算してヒートマップを生成。例えば、カリフォルニア州マーセド市街地付近のクエリでは、都市ファブリックと道路回廊が明確に浮かび上がります。
- 少数ショットセグメンテーション：少数のラベル付きピクセルを使用して線形分類器を訓練し、全域の土地被覆図を作成。ベトナム・カマウの沿岸マングローブ地域では、60ピクセル（クラスあたり20）のラベルでロジスティック回帰を訓練し、加重F1スコア0.84を達成。ラベル数を増やしても精度はほとんど向上しません。
- 変化検出：2つの時点の埋め込みを比較することで、地表の変化を直接特定。例えば、2023年9月と2024年9月のカリフォルニア州ビュート郡パーク火災の焼け跡が即座に識別されます。
- 教師なし探索：埋め込みにPCAを適用しRGB画像にマッピングすることで、ラベルなしで景観構造を自動的に可視化。オランダのフレヴォラント干拓地では、異なる作物、水域、都市域が異なる色合いで区別されます。
これらの分析は、rasterioやscikit-learnを使用したわずか数行のPythonコードで実行可能です。
制限と追加情報
埋め込みの性能は優れていますが、ユーザーは自身のユースケースに合わせて品質を確認する必要があります。入力画像の品質（雲被覆、大気アーティファクトなど）も結果に影響します。より高いパフォーマンスが必要な場合は、Studioの教師ありファインチューニング機能を推奨します。
カスタム埋め込みエクスポートは現在利用可能です。プロジェクトを作成し、埋め込みモデルを構成して計算してください。エクスポートされたGeoTIFFはQGIS、GDAL、rasterioなどの任意のジオスペーシャルツールで使用できます。完全なコード例は埋め込みチュートリアルとColabノートブックを参照してください。