マルチエージェント強化学習（MARL）が現実世界で応用される際、エージェントは外部からの自然言語命令に適応する必要があります。しかし、これらの命令は進行中のマクロアクションを中断し、長期的な目標と競合することがあります。従来の報酬形成手法では、命令に基づく報酬条件付けがベルマン更新を通じて異なる命令コンテキストの価値推定を結合してしまうため、価値の不整合が生じます。この問題を解決するために、台湾大学の研究チームはMAVIC（Macro-Action Value Correction for Instruction Compliance）を提案しました。
MAVICの主な革新は、命令境界でベルマンバックアップを直接補正することにあります。具体的には、新しい命令が到着した際に、現在の命令の目標を補正し、元の目標の下での継続価値を復元します。これにより、報酬信号を調整するのではなく、ブートストラップ目標自体を修正することで、単一ポリシー内での確率的な命令切り替えに対応し、一貫した価値推定を可能にします。研究者は厳密な理論分析とアクタークリティック実装を提供しました。
実験では、簡単なナビゲーションから複雑な協調操作タスクまで、複雑さが増すマルチエージェント環境で評価が行われました。結果は、MAVICが基本タスク性能を維持しながら高い命令追従率を達成することを示しました。例えば、複数のロボットが協力して組み立てタスクを実行するシナリオでは、MAVICは一時的に挿入される「停止」や「方向変更」などの命令を効果的に処理でき、ベースライン手法は大幅な性能低下を示しました。この研究は、ドローン群や倉庫ロボットなど、人間とロボットの協調が必要な分野での応用に新たな道を開くものです。