NASA、GoogleのGemma大規模言語モデルを軌道に投入

アメリカ航空宇宙局（NASA）のジェット推進研究所（JPL）は最近、GoogleのGemma 3大規模言語モデル（LLM）を宇宙に送り込み、衛星自身のセンサーからの画像を解析する視覚言語モデルの初の軌道上実証を達成しました。NAVI-Orbitalと呼ばれるこのシステムは、Loft Orbital社が製造したYAM-9衛星上でGemma 3を用いて画像を分析しました。JPLのテクニカルグループリーダーJuan M. Delfa氏は、今回の目標は画像分析であったものの、このプロジェクトの成功は研究者が地上から宇宙船と対話する根本的に新しい方法を示唆していると述べています。

「これは大きな転換です」とDelfa氏は語ります。「これで科学者はプロンプトを書き、それを宇宙船にアップロードするだけで、システムがそれを考慮します。これまでのパラダイムとは異なり、研究者は運用チームとプロセスを必要とする非常に構造化されたコマンドを書かなければなりませんでした。」

NAVI-Orbitalは、Delfa氏と共同著者であるNASA JPLのAI研究者Taran Cyriac John氏、Loft OrbitalのテクニカルリードAndrew W. Herson氏によって開発されたエージェント型ソフトウェアフレームワークです。LangGraphベースのコンダクターで運用を調整し、GoogleのGemma 3 4B（オープンウェイトのLLM）の圧縮された4ビット形式を展開して、プレーンテキストの画像説明を生成します。

NAVI-Orbitalは、7,960枚の画像からなるベンチマークデータセットで画像分類に使用された際に88%の精度を達成しました。注目すべきことに、Gemma 3はこの特定のデータセットやそのカテゴリでトレーニングやファインチューニングされることなく画像を分類しました。これはHugging Faceからダウンロードしてラップトップで使用できるものと同じベースモデルです。ベンチマークは打ち上げ前にシステムを検証するために地上で実施されました。

軌道上では、NASAの研究者はLoft社のYAM-9衛星のカメラを使用して2回のライブキャプチャテストを実施しました。1回はフランスのトゥールーズ上空、もう1回はアルゼンチンの海岸上空です。各画像のテキスト説明を生成することに加えて、NASAはGemma 3に画像に関する一連のスクリプト化された質問（商業地域や住宅地域が含まれているか、自然の特徴が示されているかなど）をプロンプトしました。

画像分析はYAM-9上で行われました。YAM-9は、複数の顧客ペイロードを同時に処理するために、いくつかの放射線硬化プロセッサ（FPGA、CPU、GPU）からなる計算クラスターを搭載しています。衛星は太陽電池パネルから電力を供給され、衛星の位置に応じて150〜500ワットの電力を搭載システムに提供します。

ライブキャプチャ実験では、Gemma 3はNvidia Jetson Orin AGX上で実行されました。これはロボット工学やAIタスクで頻繁に使用される小型計算モジュールです。40億パラメータの4ビットモデルはわずか8GBのメモリしか必要とせず、Orin AGXのような低電力デバイスでの実行を可能にします。「これはいかに軽量であるかを示しています。非常に小さなコンピュータで実行できるのです」とDelfa氏は述べています。

Loft OrbitalのゼネラルマネージャーPaul Lasserre氏は、視覚対応LLMが軌道運用に「パラダイムシフト」をもたらす可能性があると述べています。スパイ映画で信じられているのとは反対に、ほとんどの衛星は高速で高忠実度の画像やビデオフィードを地上の観測者に提供できません。帯域幅はしばしば限られており、ほとんどの場合、衛星は軌道に基づいて設定された間隔でしか地上局にデータを配信できません。

Lasserre氏は、AIモデルが「セマンティック圧縮」でこの問題を回避できると考えています。大量の生画像データを送信する代わりに、衛星は注目すべき情報のテキスト要約を報告できます。「リンクが遅くても問題ありません。なぜなら、数十メガバイトや数百メガバイトではなく、数十キロバイトをダウンリンクするからです」とLasserre氏は述べています。「これにより、これまでハリウッド映画でしかなかった方法で衛星を戦術的に使用できるようになります。」

Delfa氏は山火事検出という実際の例でこれを拡張しました。現在、衛星は山火事を検出できますが、ダウンリンク帯域幅とデータ処理の制限により、結果が最大90分遅れる可能性があります。宇宙で画像を分析し、プレーンテキストの警告を報告できる衛星は、この遅延を排除するかもしれません。

より迅速な洞察はNAVI-Orbitalが示す方向性の半分に過ぎません。残りの半分は、Delfa氏が指摘した「大きな転換」に関連しています。NAVI-Orbitalは、宇宙船と対話する代替手段の概念実証を提供します。

これはGoogle Gemma 3が現在制御を行っているということではありません。NAVI-Orbitalは意図的にフライトソフトウェアから隔離されています。画像を読み取り、説明を生成します。システムは画像の分析方法について決定を下す能力を持っていますが、それ以上のアクセス権はありません。

それでも、インターフェースは斬新です。異なる種類のターゲット（山火事など）を探索するようにシステムを再構成することは、テキストプロンプトを編集するだけで済みます。オンボードソフトウェアの書き換えや再検証、あるいは以前の画像分類モデルでしばしば必要だった異なるAIモデルのトレーニングや展開は不要です。

この能力がどのように展開されるかについての長期的なビジョンは、無人衛星や画像処理を超えています。Delfa氏は、NAVIはAIが宇宙飛行士のコンパニオンとして機能する方法を考えることに根ざしていると述べています。「私たちは、宇宙飛行士が宇宙服の中で器用さに多くの制限があることを考え、NAVIを宇宙飛行士のコンパニオンとして、自然言語による対話を可能にするというアイデアを思いつきました…これが私たちがぜひ前進させたいコンセプトです。」

この技術をそこまで推し進めるには多くの追加研究が必要ですが、NAVI-Orbitalの実証は、大規模言語モデルを宇宙に展開することと、プロンプトで制御することの2つの要素が可能であることを示しました。