不確実性に基づくLLM支援による棄権認識型パーソナライズド物体再配置

家庭環境におけるロボット支援では、物体をどこに配置すべきかを予測するだけでなく、いつ物体を配置すべきでないかを推論することも必要です。しかし、既存の手法は主に清潔な観測と完全な行動可能性を前提としており、現実的な散らかった部分誤りのある環境での適用が制限されています。この課題に対し、研究者らはAPOLLO（Abstention-Aware Personalized Object Rearrangement via Uncertainty-Guided LLM Assistance）を提案しました。これは、軽量なパーソナライズド埋め込みモデル（PEM）と選択的な大規模言語モデル（LLM）支援を組み合わせたハイブリッドフレームワークです。

APOLLOの核となるPEMは、各ユーザーと環境のペアに対して少数のデモンストレーションで訓練され、CPU上で完全に動作し、不確実性推定を出力します。システムはこの推定値を利用してLLMを呼び出すかどうかを決定し、曖昧な判断の場合のみLLMを起動することで、効率、プライバシー、推論能力のバランスを実現します。これにより、計算コストの高いLLMの頻繁な使用を避けつつ、複雑な不確実な状況に対処できます。

棄権行動を評価するために、研究チームはAPORデータセットを作成しました。これはLLMが生成した合成データセットで、部屋レベルの多家具環境、多様な整理プロファイル、明示的な棄権行動、ノイズのある部分的なシーンコンテキストを含みます。このデータセットは既存のベンチマークを超え、現実世界の複雑さにより近いものです。

PARSECとAPORでの広範な実験により、APOLLOは制御されたベンチマーク設定で従来のLLMベースのベースラインを改善し、LLM使用量を大幅に削減することが示されました。コードはGitHub（https://github.com/PaInt-Lab/APOLLO）で公開されています。この研究は2026年のIEEEロボットと人間のインタラクティブコミュニケーション国際会議（RO-MAN 2026）に採択されました。

さらに、APOLLOフレームワークは実際の展開におけるプライバシーと効率の問題を考慮して設計されています。PEMは完全にローカルのCPUで動作するため、データをクラウドに送信する必要がなく、ユーザーのプライバシーを保護します。同時に、LLMの選択的呼び出しにより計算コストが大幅に削減され、リソースが限られた家庭用ロボットへの適用が可能になります。将来の研究では、より洗練された不確実性測定方法や、APOLLOのさらなる家庭シナリオへの拡張が期待されます。