基于不确定性引导的LLM辅助的个性化物体重组中的弃权意识
本文提出了APOLLO，一种结合轻量级个性化嵌入模型（PEM）与选择性大语言模型（LLM）辅助的混合框架，用于在杂乱、部分错误的环境中实现具有弃权意识的物体重组。PEM通过少量演示训练，运行在CPU上，并产生不确定性估计，仅在决策模糊时调用LLM，平衡效率、隐私和推理能力。此外，还引入了APOR合成数据集，包含多家具房间环境、多样化组织配置和显式弃权行为。实验表明，APOLLO在降低LLM使用的同时，性能优于先前的LLM基线。
机器人辅助系统在家庭环境中不仅需要预测物体的放置位置，还需要判断何时不应放置物体。然而，现有方法大多假设环境清洁且完全可操作，限制了其在杂乱、部分错误场景中的适用性。针对这一挑战，研究人员提出了APOLLO（Abstention-Aware Personalized Object Rearrangement via Uncertainty-Guided LLM Assistance），一种融合轻量级个性化嵌入模型（PEM）与选择性大语言模型（LLM）辅助的混合框架。
APOLLO的核心在于PEM，该模型针对每个用户-环境对，通过少量演示进行训练，完全在CPU上运行，并输出不确定性估计。系统利用这些估计来决定是否调用LLM进行推理：仅在决策模糊时启用LLM，从而在效率、隐私和推理能力之间取得平衡。这种设计避免了频繁使用计算昂贵的LLM，同时借助LLM处理复杂的不确定情况。
为了评估弃权行为，研究团队创建了APOR数据集，这是一个由LLM生成的合成数据集，包含房间级多家具环境、多种组织配置、显式弃权行为以及噪声部分场景上下文。该数据集超越现有基准，更贴近真实世界的复杂性。
在PARSEC和APOR上的全面实验提供了初步证据，证明APOLLO在受控基准设置中优于先前基于LLM的基线，同时显著减少了LLM调用次数。代码已开源在GitHub上（https://github.com/PaInt-Lab/APOLLO）。该研究已被2026年IEEE机器人与人类交互通信国际会议（RO-MAN 2026）接收。
此外，APOLLO框架的设计考虑了实际部署中的隐私和效率问题。由于PEM完全在本地CPU上运行，无需向云端发送数据，从而保护了用户隐私。同时，选择性调用LLM大幅降低了计算成本，使得该框架适用于资源受限的家用机器人。未来的工作可能会探索更复杂的不确定性度量方式，以及将APOLLO扩展到更多家居场景中。