複数の自律型水中ビークル（AUV）がアドホックネットワークを構成して目標を追跡するタスクは、海洋工学や知的無人システムの分野で重要な研究テーマです。実際のミッションでは、AUV 同士が水中音響通信を介して一時的なネットワークを形成し、協調して機動目標を探知・追跡します。しかし、音響通信の帯域幅には制約があり、ネットワークトポロジーは動的に変化し、海流による擾乱も不確実です。こうした要因により、協調追跡の実現は非常に困難になります。
マルチエージェント強化学習（MARL）は、この問題に対する有望なアプローチです。集中学習によって協調ポリシーを獲得し、実行時には局所情報だけで意思決定を行えるため、通信制約のある環境に適しています。一方で論文は、既存の MARL 手法には、結合状態行動空間の次元が高くモデル化が複雑であること、ポリシー生成がノイズに敏感で学習が不安定になり追跡性能が低下すること、という二つの課題があると指摘しています。
本研究では、これらの課題に対処するために、価値勾配ガイダンスを用いたマルチエージェント拡散強化学習アルゴリズム VGG-MADiffRL と、拡散モデルに基づく階層制御アーキテクチャ MDCA を提案しています。さらに、水中ミッションの特性を活かし、ソナー探知機構と海流擾乱をモデル化した上で、マルチAUVアドホックネットワークにおける協調追跡をマルコフ決定過程（MDP）として定式化しています。
MDCA は三層の閉ループ制御フレームワークです。最上位はグローバルな知的制御層で、タスク割り当てと全体調整を担当します。中間層はローカルオンライン学習層であり、ポリシー学習の中心となります。最下層は物理的なアクション実行層で、意思決定出力を AUV の実際の動作に変換します。この階層構造により、タスク割り当て、局所的な意思決定プロセス、実行フィードバックの間で相乗的な最適化が可能になります。
VGG-MADiffRL は、拡散ポリシーを基盤としつつ、逆拡散（逆デノイジング）プロセスに価値勾配を導入してアクション生成を誘導し、生成されるアクションがより高い期待報酬を得られるようにします。これにより、拡散モデルが持つ複雑な分布の表現力を保ちながら、意思決定の質を高めています。また、二つの価値ネットワークを同時に最適化し、ソフトターゲット更新を採用することで、過大評価や学習の振動を抑え、より安定した収束を実現しています。
実験では、協調追跡シナリオにおいて VGG-MADiffRL が一貫して高速な収束、高い追跡精度、滑らかな学習ダイナミクスを達成することが示されました。論文は、この結果が動的な水中環境における提案手法の有効性と実用的な工学的価値を裏付けるものであると結論づけています。