美國宇航局（NASA）噴氣推進實驗室（JPL）近日完成了一項歷史性突破：將谷歌的Gemma 3大語言模型（LLM）送入太空，併成功進行了首次在軌視覺語言模型圖像分析演示。這一名為NAVI-Orbital的系統在Loft Orbital公司製造的YAM-9衞星上運行，標誌着航天器交互方式的一次重大轉變。
NAVI-Orbital是一個基於智能代理的軟件框架，由NASA JPL的Juan M. Delfa、Taran Cyriac John以及Loft Orbital的技術負責人Andrew W. Herson共同開發。該系統採用LangGraph為基礎協調器，部署了谷歌Gemma 3 4B模型的壓縮4位版本，這是一個開放權重的LLM，能夠生成純文本的圖像描述。
在發射前的基準測試中，NAVI-Orbital在包含7,960張圖像的測試集上達到了88%的分類準確率。值得注意的是，Gemma 3模型並未針對該特定數據集或類別進行訓練或微調——它使用的是與Hugging Face上可下載版本相同的預訓練基礎模型。
進入軌道後，NASA研究人員進行了兩次實時捕獲測試：一次在法國圖盧茲上空，另一次在阿根廷海岸附近。除了生成圖像的文字描述外，NASA還通過一組腳本問題向Gemma 3提問，例如圖像中是否包含商業區、住宅區或自然特徵。
圖像分析在YAM-9衞星上本地完成。該衞星配備了一個由多個抗輻射處理器（FPGA、CPU和GPU）組成的計算集羣，可同時服務於多個客户負載。衞星由太陽能電池板供電，根據衞星位置，機載系統可獲得150至500瓦的電力。
在實時捕獲實驗中，Gemma 3運行於Nvidia Jetson Orin AGX上——這是一個常用於機器人和AI任務的小型計算模塊。40億參數的4位模型僅需8GB內存，使其能夠在Orin AGX這樣低功耗的設備上運行。Delfa形容道：“這傳達了它多麼輕量級的信息。你可以在一個非常小的計算機上運行它。”
Loft Orbital總經理Paul Lasserre表示，具備視覺能力的LLM可為軌道操作帶來“範式轉變”。與間諜電影中描繪的相反，大多數衞星無法向地面觀察者提供快速、高保真的圖像和視頻流。帶寬通常有限，且大多數情況下，衞星只能根據其軌道在設定的時間間隔內向地面站傳輸數據。
Lasserre認為AI模型可以通過“語義壓縮”解決這一問題。衞星無需發送大量原始圖像數據，而是傳輸一份包含值得注意信息的文本摘要。“無論鏈路有多慢都沒關係，因為你只需下行幾十千字節，而不是幾十或幾百兆字節，”Lasserre説道，“這讓你能夠以戰術方式使用衞星，而此前這隻有在好萊塢電影中才能實現。”
Delfa用一個野火檢測的實際例子進一步闡述。當前衞星能夠檢測野火，但下鏈帶寬和數據處理能力的限制可能導致結果延遲長達90分鐘。具備在太空分析圖像並報告純文本警告能力的衞星可能消除這一延遲。
更快的洞察只是NAVI-Orbital所指向目標的一半。另一半與Delfa強調的“重大轉變”有關。NAVI-Orbital為一種與航天器交互的替代方式提供了概念驗證。
這並不是説谷歌Gemma 3目前正在操控航天器。NAVI-Orbital故意與飛行軟件隔離。它讀取圖像並生成描述。該系統能夠決定如何分析圖像，但無法訪問其他功能。
儘管如此，其界面是新穎的。將系統重新配置以搜索不同類型的目標——例如野火——只需編輯文本提示即可。這無需重寫和重新驗證機載軟件，也無需訓練和部署不同的AI模型（此前圖像分類模型通常需要這樣做）。
長遠來看，這一能力的部署前景遠超無人衞星和圖像處理。Delfa表示，NAVI的構想源於AI如何作為宇航員的伴侶。“我們想到，宇航員在宇航服中靈巧性受到很大限制，所以我們構思了NAVI作為宇航員的伴侶，通過自然語言進行交互……這是我們堅決要推進的概念。”
儘管要將該技術推進到那一步還需要大量額外研究，但NAVI-Orbital的演示已經證明了兩件事：在太空部署大語言模型以及通過提示控制模型是可行的。