跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

基于不确定性引导的LLM辅助的个性化物体重组中的弃权意识

文章摘要

本文提出了APOLLO,一种结合轻量级个性化嵌入模型(PEM)与选择性大语言模型(LLM)辅助的混合框架,用于在杂乱、部分错误的环境中实现具有弃权意识的物体重组。PEM通过少量演示训练,运行在CPU上,并产生不确定性估计,仅在决策模糊时调用LLM,平衡效率、隐私和推理能力。此外,还引入了APOR合成数据集,包含多家具房间环境、多样化组织配置和显式弃权行为。实验表明,APOLLO在降低LLM使用的同时,性能优于先前的LLM基线。

来源arXiv Robotics作者: Sam Collin, Ali Ayub
基于不确定性引导的LLM辅助的个性化物体重组中的弃权意识
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

机器人辅助系统在家庭环境中不仅需要预测物体的放置位置,还需要判断何时不应放置物体。然而,现有方法大多假设环境清洁且完全可操作,限制了其在杂乱、部分错误场景中的适用性。针对这一挑战,研究人员提出了APOLLO(Abstention-Aware Personalized Object Rearrangement via Uncertainty-Guided LLM Assistance),一种融合轻量级个性化嵌入模型(PEM)与选择性大语言模型(LLM)辅助的混合框架。

APOLLO的核心在于PEM,该模型针对每个用户-环境对,通过少量演示进行训练,完全在CPU上运行,并输出不确定性估计。系统利用这些估计来决定是否调用LLM进行推理:仅在决策模糊时启用LLM,从而在效率、隐私和推理能力之间取得平衡。这种设计避免了频繁使用计算昂贵的LLM,同时借助LLM处理复杂的不确定情况。

为了评估弃权行为,研究团队创建了APOR数据集,这是一个由LLM生成的合成数据集,包含房间级多家具环境、多种组织配置、显式弃权行为以及噪声部分场景上下文。该数据集超越现有基准,更贴近真实世界的复杂性。

在PARSEC和APOR上的全面实验提供了初步证据,证明APOLLO在受控基准设置中优于先前基于LLM的基线,同时显著减少了LLM调用次数。代码已开源在GitHub上(https://github.com/PaInt-Lab/APOLLO)。该研究已被2026年IEEE机器人与人类交互通信国际会议(RO-MAN 2026)接收。

此外,APOLLO框架的设计考虑了实际部署中的隐私和效率问题。由于PEM完全在本地CPU上运行,无需向云端发送数据,从而保护了用户隐私。同时,选择性调用LLM大幅降低了计算成本,使得该框架适用于资源受限的家用机器人。未来的工作可能会探索更复杂的不确定性度量方式,以及将APOLLO扩展到更多家居场景中。

展开要点与分析

文章情报

工程师进阶

要点

  • APOLLO框架结合了轻量级个性化嵌入模型和选择性LLM辅助,仅在不确定时调用LLM。
  • 系统基于不确定性估计决定是否放置物体,实现弃权行为。
  • APOR数据集模拟了杂乱的家庭环境,包含多种组织风格和噪声。
  • 在PARSEC和APOR数据集上的实验表明,APOLLO在保持性能的同时大幅减少了LLM使用。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。