跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

即時場景圖增長:應對長時域機器人中的感知飽和

文章摘要

本文提出JITOMA框架,透過即時按需記憶啟用解決傳統3D場景圖構建中的感知飽和問題。該框架利用任務熱圖過濾觀測、大型語言模型按需喚醒相關錨點,顯著降低計算開銷,並在長時域任務切換中保持穩定效能。同時釋出JITOMA-Bench評估基準。

來源arXiv Computer Vision作者: Yue Chang, Rufeng Chen, Yifan Tian, Dazhi Huang, Zhaofan Zhang, Yi Chen, Wenze Zhang, Li Chen, Hui Xiong, Sihong Xie
即時場景圖增長:應對長時域機器人中的感知飽和
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在機器人學領域,3D場景圖(3D Scene Graph, 3DSG)為具身智慧體提供了關鍵的結構化環境表示,使得機器人能夠理解物體、空間關係以及語義資訊。然而,傳統的3DSG構建方法採用“預先構建再過濾”的策略,即先窮舉式地對映整個環境,再根據任務進行篩選。這種策略與邊緣平臺對即時性和低功耗的苛刻要求嚴重衝突,導致了嚴重的觀測冗餘和計算浪費,研究人員將其稱為“感知飽和”現象。為了突破這一瓶頸,來自多所機構的研究團隊共同提出了JITOMA(Just-In-Time On-demand Memory Activation,即時按需記憶啟用)框架,將任務推理、感知和記憶統一為一個閉環的即時增長過程。

在JITOMA系統中,前端模組利用自上而下的任務熱圖對持續湧入的感測器觀測進行智慧過濾。任務熱圖根據當前任務的目標生成注意力權重,只保留最低限度的資料流,從而維持一個由低成本和休眠錨點構成的全域性基礎場景表示。這些錨點在未被啟用時不消耗計算資源。當後端的大語言模型(LLM)接收到來自機器人的認知查詢時,它會解析機器人的意圖,動態地喚醒與當前任務相關的錨點。這一喚醒操作會觸發在該區域性子圖上執行資源密集型操作,包括密集節點描述生成和功能推理等,而其餘部分則保持休眠狀態。這種按需啟用的機制極大地減少了不必要的計算。

研究團隊還專門開發了JITOMA-Bench基準測試套件,用於評估長期多工場景中的動態能力和感知飽和的權衡。該基準包含多種複雜的長時域任務,如導航、操作和多步推理。實驗結果表明,與傳統方法相比,JITOMA大幅度降低了活躍圖的大小和標註延遲,同時在任務切換過程中保持了穩定的處理時間。這一成果為在資源受限的邊緣平臺上實現高效、可擴充套件的機器人感知系統提供了新的技術路徑,具有重要的理論價值和實際應用前景。

展開要點與分析

文章情報

工程師進階

要點

  • 傳統3D場景圖管道因窮舉式環境對映導致感知飽和,不適合邊緣平臺即時需求。
  • JITOMA框架透過前端任務熱圖和後端LLM協同,實現場景圖按需增長。
  • JITOMA-Bench用於評估長時域多工和複雜推理的感知飽和權衡。
  • 實驗表明JITOMA大幅減少活躍圖尺寸和標註延遲,且保持處理時間穩定。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。