美國宇航局（NASA）噴氣推進實驗室（JPL）近日完成了一項歷史性突破：將谷歌的Gemma 3大語言模型（LLM）送入太空，併成功進行了首次在軌視覺語言模型影像分析演示。這一名為NAVI-Orbital的系統在Loft Orbital公司製造的YAM-9衛星上執行，標誌著航天器互動方式的一次重大轉變。
NAVI-Orbital是一個基於智慧代理的軟體框架，由NASA JPL的Juan M. Delfa、Taran Cyriac John以及Loft Orbital的技術負責人Andrew W. Herson共同開發。該系統採用LangGraph為基礎協調器，部署了谷歌Gemma 3 4B模型的壓縮4位版本，這是一個開放權重的LLM，能夠生成純文本的影像描述。
在發射前的基準測試中，NAVI-Orbital在包含7,960張影像的測試集上達到了88%的分類準確率。值得注意的是，Gemma 3模型並未針對該特定資料集或類別進行訓練或微調——它使用的是與Hugging Face上可下載版本相同的預訓練基礎模型。
進入軌道後，NASA研究人員進行了兩次即時捕獲測試：一次在法國圖盧茲上空，另一次在阿根廷海岸附近。除了生成影像的文字描述外，NASA還透過一組指令碼問題向Gemma 3提問，例如影像中是否包含商業區、住宅區或自然特徵。
影像分析在YAM-9衛星上本地完成。該衛星配備了一個由多個抗輻射處理器（FPGA、CPU和GPU）組成的計算叢集，可同時服務於多個客戶負載。衛星由太陽能電池板供電，根據衛星位置，機載系統可獲得150至500瓦的電力。
在即時捕獲實驗中，Gemma 3執行於Nvidia Jetson Orin AGX上——這是一個常用於機器人和AI任務的小型計算模組。40億引數的4位模型僅需8GB記憶體，使其能夠在Orin AGX這樣低功耗的裝置上執行。Delfa形容道：“這傳達了它多麼輕量級的資訊。你可以在一個非常小的計算機上執行它。”
Loft Orbital總經理Paul Lasserre表示，具備視覺能力的LLM可為軌道操作帶來“正規化轉變”。與間諜電影中描繪的相反，大多數衛星無法向地面觀察者提供快速、高保真的影像和影片流。頻寬通常有限，且大多數情況下，衛星只能根據其軌道在設定的時間間隔內向地面站傳輸資料。
Lasserre認為AI模型可以透過“語義壓縮”解決這一問題。衛星無需傳送大量原始影像資料，而是傳輸一份包含值得注意資訊的文本摘要。“無論鏈路有多慢都沒關係，因為你只需下行幾十千位元組，而不是幾十或幾百兆位元組，”Lasserre說道，“這讓你能夠以戰術方式使用衛星，而此前這隻有在好萊塢電影中才能實現。”
Delfa用一個野火檢測的實際例子進一步闡述。當前衛星能夠檢測野火，但下鏈頻寬和資料處理能力的限制可能導致結果延遲長達90分鐘。具備在太空分析影像並報告純文本警告能力的衛星可能消除這一延遲。
更快的洞察只是NAVI-Orbital所指向目標的一半。另一半與Delfa強調的“重大轉變”有關。NAVI-Orbital為一種與航天器互動的替代方式提供了概念驗證。
這並不是說谷歌Gemma 3目前正在操控航天器。NAVI-Orbital故意與飛行軟體隔離。它讀取影像並生成描述。該系統能夠決定如何分析影像，但無法訪問其他功能。
儘管如此，其介面是新穎的。將系統重新配置以搜尋不同型別的目標——例如野火——只需編輯文本提示即可。這無需重寫和重新驗證機載軟體，也無需訓練和部署不同的AI模型（此前影像分類模型通常需要這樣做）。
長遠來看，這一能力的部署前景遠超無人衛星和影像處理。Delfa表示，NAVI的構想源於AI如何作為宇航員的伴侶。“我們想到，宇航員在宇航服中靈巧性受到很大限制，所以我們構思了NAVI作為宇航員的伴侶，透過自然語言進行互動……這是我們堅決要推進的概念。”
儘管要將該技術推進到那一步還需要大量額外研究，但NAVI-Orbital的演示已經證明了兩件事：在太空部署大語言模型以及透過提示控制模型是可行的。