即时场景图增长：应对长时域机器人中的感知饱和
本文提出JITOMA框架，通过即时按需记忆激活解决传统3D场景图构建中的感知饱和问题。该框架利用任务热图过滤观测、大型语言模型按需唤醒相关锚点，显著降低计算开销，并在长时域任务切换中保持稳定性能。同时发布JITOMA-Bench评估基准。
在机器人学领域，3D场景图（3D Scene Graph, 3DSG）为具身智能体提供了关键的结构化环境表示，使得机器人能够理解物体、空间关系以及语义信息。然而，传统的3DSG构建方法采用“预先构建再过滤”的策略，即先穷举式地映射整个环境，再根据任务进行筛选。这种策略与边缘平台对实时性和低功耗的苛刻要求严重冲突，导致了严重的观测冗余和计算浪费，研究人员将其称为“感知饱和”现象。为了突破这一瓶颈，来自多所机构的研究团队共同提出了JITOMA（Just-In-Time On-demand Memory Activation，即时按需记忆激活）框架，将任务推理、感知和记忆统一为一个闭环的即时增长过程。
在JITOMA系统中，前端模块利用自上而下的任务热图对持续涌入的传感器观测进行智能过滤。任务热图根据当前任务的目标生成注意力权重，只保留最低限度的数据流，从而维持一个由低成本和休眠锚点构成的全局基础场景表示。这些锚点在未被激活时不消耗计算资源。当后端的大语言模型（LLM）接收到来自机器人的认知查询时，它会解析机器人的意图，动态地唤醒与当前任务相关的锚点。这一唤醒操作会触发在该局部子图上执行资源密集型操作，包括密集节点描述生成和功能推理等，而其余部分则保持休眠状态。这种按需激活的机制极大地减少了不必要的计算。
研究团队还专门开发了JITOMA-Bench基准测试套件，用于评估长期多任务场景中的动态能力和感知饱和的权衡。该基准包含多种复杂的长时域任务，如导航、操作和多步推理。实验结果表明，与传统方法相比，JITOMA大幅度降低了活跃图的大小和标注延迟，同时在任务切换过程中保持了稳定的处理时间。这一成果为在资源受限的边缘平台上实现高效、可扩展的机器人感知系统提供了新的技术路径，具有重要的理论价值和实际应用前景。