基於不確定性引導的LLM輔助的個性化物體重組中的棄權意識
本文提出了APOLLO，一種結合輕量級個性化嵌入模型（PEM）與選擇性大語言模型（LLM）輔助的混合框架，用於在雜亂、部分錯誤的環境中實現具有棄權意識的物體重組。PEM通過少量演示訓練，運行在CPU上，併產生不確定性估計，僅在決策模糊時調用LLM，平衡效率、隱私和推理能力。此外，還引入了APOR合成數據集，包含多傢俱房間環境、多樣化組織配置和顯式棄權行為。實驗表明，APOLLO在降低LLM使用的同時，性能優於先前的LLM基線。
機器人輔助系統在家庭環境中不僅需要預測物體的放置位置，還需要判斷何時不應放置物體。然而，現有方法大多假設環境清潔且完全可操作，限制了其在雜亂、部分錯誤場景中的適用性。針對這一挑戰，研究人員提出了APOLLO（Abstention-Aware Personalized Object Rearrangement via Uncertainty-Guided LLM Assistance），一種融合輕量級個性化嵌入模型（PEM）與選擇性大語言模型（LLM）輔助的混合框架。
APOLLO的核心在於PEM，該模型針對每個用户-環境對，通過少量演示進行訓練，完全在CPU上運行，並輸出不確定性估計。系統利用這些估計來決定是否調用LLM進行推理：僅在決策模糊時啓用LLM，從而在效率、隱私和推理能力之間取得平衡。這種設計避免了頻繁使用計算昂貴的LLM，同時藉助LLM處理複雜的不確定情況。
為了評估棄權行為，研究團隊創建了APOR數據集，這是一個由LLM生成的合成數據集，包含房間級多傢俱環境、多種組織配置、顯式棄權行為以及噪聲部分場景上下文。該數據集超越現有基準，更貼近真實世界的複雜性。
在PARSEC和APOR上的全面實驗提供了初步證據，證明APOLLO在受控基準設置中優於先前基於LLM的基線，同時顯著減少了LLM調用次數。代碼已開源在GitHub上（https://github.com/PaInt-Lab/APOLLO）。該研究已被2026年IEEE機器人與人類交互通信國際會議（RO-MAN 2026）接收。
此外，APOLLO框架的設計考慮了實際部署中的隱私和效率問題。由於PEM完全在本地CPU上運行，無需向雲端發送數據，從而保護了用户隱私。同時，選擇性調用LLM大幅降低了計算成本，使得該框架適用於資源受限的家用機器人。未來的工作可能會探索更復雜的不確定性度量方式，以及將APOLLO擴展到更多家居場景中。