ジャストインタイムシーングラフ成長：長期ロボティクスにおける知覚飽和への対抗

ロボット工学において、3Dシーングラフ（3DSG）は、エンボディエージェントにとって重要な構造化環境表現を提供し、物体、空間関係、セマンティック情報の理解を可能にします。しかし、従来の3DSG構築手法は「事前にすべてを構築し、後でフィルタリングする」というアプローチを採用しており、環境全体を網羅的にマッピングした後でタスクに応じて絞り込みを行います。この戦略は、エッジプラットフォームが要求するリアルタイム性と低消費電力に深刻な矛盾を引き起こし、観測の冗長性による計算リソースの浪費、すなわち「知覚飽和」現象をもたらします。この課題に取り組むため、複数の研究機関からなるチームは、JITOMA（Just-In-Time On-demand Memory Activation）フレームワークを提案しました。これは、タスク推論、知覚、記憶を閉ループのジャストインタイム成長プロセスに統合するものです。

JITOMAシステムでは、フロントエンドモジュールがトップダウンのタスクヒートマップを活用して、連続的なセンサ観測をインテリジェントにフィルタリングします。タスクヒートマップは現在のタスク目標に基づいて注意重みを生成し、最小限のデータストリームのみをルーティングすることで、低コストで休止状態のアンカーからなるグローバルなベースシーングラフを維持します。これらのアンカーは活性化されていない間は計算リソースを消費しません。バックエンドの大規模言語モデル（LLM）がロボットからの認知クエリを受け取ると、ロボットの意図を解析し、タスクに関連するアンカーを動的に覚醒させます。この覚醒により、活性化されたローカルサブグラフ内でのみリソース集約型の操作（密なノードキャプション生成や機能推論など）がトリガーされ、残りの部分は休止状態を維持します。このオンデマンド活性化メカニズムにより、不要な計算が大幅に削減されます。

研究チームはさらに、長期マルチタスクシナリオにおける動的能力と知覚飽和のトレードオフを評価するためのベンチマークスイートJITOMA-Benchを開発しました。このベンチマークには、ナビゲーション、操作、多段階推論などの複雑な長期的タスクが含まれています。実験結果は、JITOMAが従来手法と比較してアクティブグラフサイズとキャプション遅延を大幅に削減し、タスク切り替え時にも安定した処理時間を維持することを示しています。この成果は、リソース制約のあるエッジプラットフォーム上での効率的でスケーラブルなロボット知覚システムの実現に向けた新たな技術的パラダイムを提供し、理論的価値と実用的応用の両面で重要な意味を持ちます。