デュアルLLMモジュールを用いた階層的プロンプトによるロボットのタスクと動作計画

最近、arXivに投稿された論文（arXiv:2605.08330）は、ロボットのタスクと動作計画のための新しい階層的言語駆動フレームワークを提案しています。このフレームワークは、サービスやアシスタンスのシナリオにおける人間とロボットの自然で直感的なインタラクションを向上させることを目的としています。中心となるのは、2つの大規模言語モデル（LLM）モジュールの使用です。高レベル計画エージェントと低レベル空間推論サブモジュールです。高レベル計画エージェントは、ReActスタイルのプロンプトを使用してユーザーの自然言語コマンドを処理し、一連のアクション（例：掴む、置く、放す）を生成します。正確な空間配置が必要な場合（例：「カップを皿の隣に置いて」）、低レベル空間推論サブモジュールが呼び出され、物体の形状とシーンレイアウトに基づいて3D推論を行い、正確な配置位置を決定します。環境認識のために、システムはYOLOX-GDRNetを統合して物体検出と姿勢推定を実行し、モーション実行スタブを通じて実際の操作を完了します。研究チームは24のテストシナリオでシステムを評価しました。これらのシナリオは、単純な空間コマンドから複雑な高レベル指示、さらには実行不可能な要求まで含まれています。実験の結果、システム全体のタスク成功率は86%に達しました。この研究は、特に複雑な空間関係を理解する必要があるシナリオにおいて、より知的で自然なサービスロボットの開発に新たな道を開くものです。論文の著者はKarolina Żróbek氏を含む5名です。さらに、システムは実行不可能な要求に対して頑健性を示し、タスクを実行できない場合には適切に拒否することができました。将来の研究としては、実際のロボットプラットフォームへの展開や、低レベル推論モジュールの効率と精度の最適化が考えられます。このフレームワークは、家庭用サービス、医療介護、産業用協働など、幅広い応用が期待されています。