在機器人學領域,3D場景圖(3D Scene Graph, 3DSG)為具身智能體提供了關鍵的結構化環境表示,使得機器人能夠理解物體、空間關係以及語義信息。然而,傳統的3DSG構建方法採用“預先構建再過濾”的策略,即先窮舉式地映射整個環境,再根據任務進行篩選。這種策略與邊緣平台對實時性和低功耗的苛刻要求嚴重衝突,導致了嚴重的觀測冗餘和計算浪費,研究人員將其稱為“感知飽和”現象。為了突破這一瓶頸,來自多所機構的研究團隊共同提出了JITOMA(Just-In-Time On-demand Memory Activation,即時按需記憶激活)框架,將任務推理、感知和記憶統一為一個閉環的即時增長過程。
在JITOMA系統中,前端模塊利用自上而下的任務熱圖對持續湧入的傳感器觀測進行智能過濾。任務熱圖根據當前任務的目標生成注意力權重,只保留最低限度的數據流,從而維持一個由低成本和休眠錨點構成的全局基礎場景表示。這些錨點在未被激活時不消耗計算資源。當後端的大語言模型(LLM)接收到來自機器人的認知查詢時,它會解析機器人的意圖,動態地喚醒與當前任務相關的錨點。這一喚醒操作會觸發在該局部子圖上執行資源密集型操作,包括密集節點描述生成和功能推理等,而其餘部分則保持休眠狀態。這種按需激活的機制極大地減少了不必要的計算。
研究團隊還專門開發了JITOMA-Bench基準測試套件,用於評估長期多任務場景中的動態能力和感知飽和的權衡。該基準包含多種複雜的長時域任務,如導航、操作和多步推理。實驗結果表明,與傳統方法相比,JITOMA大幅度降低了活躍圖的大小和標註延遲,同時在任務切換過程中保持了穩定的處理時間。這一成果為在資源受限的邊緣平台上實現高效、可擴展的機器人感知系統提供了新的技術路徑,具有重要的理論價值和實際應用前景。