APIVOT: 適応的な視覚言語思考のインターリーブによる長期的ロボット計画
APIVOTは、言語思考と視覚思考を適応的にインターリーブすることで、長期的なロボット計画の成功率と推論効率を向上させるVLMベースのプランナーです。空間制約のあるキッチンタスクにおいて、汎用VLMや既存の計画フレームワークを大幅に上回る性能を示しました。
近年、視覚言語モデル（VLM）はロボット計画において大きな可能性を示していますが、長期的な計画には意味的タスク構造と幾何学的実現可能性の両方を同時に扱う必要があります。この課題に対し、研究者らはAPIVOT（Adaptive Planning with Interleaved Vision-Language Thoughts）を提案しました。これは、言語思考と視覚思考を動的にインターリーブする適応的計画フレームワークです。
APIVOTの核心は「二重思考」メカニズムにあります。言語思考は目標分解、物体選択、行動系列の編成などの高次意味推論を担当し、視覚思考は未来状態を想像することで自由空間の制約や物体衝突などの幾何学的実現可能性を内部検証します。この適応的なインターリーブにより、ロボットは計画の各段階で柔軟に思考モードを切り替え、固定戦略に伴う冗長性やエラーを回避できます。
長期的なキッチンタスクの実験では、APIVOTを汎用VLM（GPT-4Vなど）や既存の計画フレームワークと比較しました。結果、APIVOTは全体的な成功率で優位に立ち、特に空間的に制約の多い環境（狭いカウンターや物体密集シーン）で最大の性能向上を示しました。さらに、APIVOTは意味的に明確なタスクでは言語思考を、細かい空間推論が必要な場面では視覚思考を優先するなど、意味のあるモダリティ選択行動を学習し、成功率を保ちつつ推論効率を高めました。
本研究はEmily Jinら6名の著者により行われ、論文はarXiv（番号2607.08024）で公開され、プロジェクトページも提供されています。APIVOTの成功は、視覚と言語の思考を適応的にインターリーブすることが、より知的で信頼性の高いロボット計画システムへの重要な一歩であることを示しています。今後、チームはAPIVOTをより複雑な動的環境に拡張し、人間とロボットの協調シナリオへの応用を検討する予定です。