多自主水下航行器（AUV）自組網目標跟蹤是海洋智能無人系統領域的重要研究方向。在真實任務中，多個 AUV 通過水聲通信組成臨時網絡，協同探測和跟蹤機動目標。然而，水聲通信帶寬受限、網絡拓撲動態變化、海洋洋流擾動不確定等因素，給協同跟蹤帶來了巨大挑戰。傳統方法往往難以在通信約束和動態環境下保持穩定的跟蹤性能。
近年來，多智能體強化學習（MARL）提供了一種有前景的解決思路。通過集中式訓練與分佈式執行，智能體可以在訓練階段利用全局信息學習協調策略，在執行階段僅依賴局部信息做出決策。不過，論文指出現有 MARL 方法仍存在兩個主要問題：一是聯合狀態-動作空間維度高，建模複雜；二是策略生成對噪聲敏感，容易導致訓練不穩定和跟蹤性能下降。
針對上述問題，論文提出 VGG-MADiffRL（Value Gradient Guidance Multi-Agent Diffusion RL）算法和 MDCA（diffusion-based hierarchical control architecture）分層控制架構。作者結合水下任務的特點，顯式地對聲吶探測機制和海洋洋流擾動進行建模，並將多 AUV 自組網中的協同目標跟蹤任務形式化為馬爾可夫決策過程（MDP），為後續算法設計和工程應用奠定了基礎。
MDCA 是一個三層閉環控制框架。頂層為全局智能控制層，負責任務分配和全局層面的協調；中間層為本地在線訓練層，是策略學習的核心；底層為物理動作執行層，將決策輸出轉化為 AUV 的實際運動指令。這種分層結構使系統能夠在任務分配、局部決策和動作執行反饋之間進行協同優化，形成完整的閉環控制鏈路。
VGG-MADiffRL 在策略學習層面做出了關鍵創新。它以擴散策略為基礎，在逆向去噪過程中引入價值梯度作為引導信號，使生成的動作逐步向更高期望回報的方向修正。這種方式既保留了擴散模型處理複雜分佈的強大能力，又能提升動作生成的決策質量。為了進一步解決訓練中的不穩定問題，算法採用雙價值網絡進行聯合優化，並使用軟目標更新策略，有效減輕了 Q 值過估計和訓練震盪，促進了更穩定的收斂。
實驗部分在協同目標跟蹤場景中驗證了所提方法的性能。結果顯示，VGG-MADiffRL 相比基線方法能夠更快地收斂，獲得更高的跟蹤精度，同時訓練過程更加平滑。論文認為，這説明該方法在動態水下環境中具有較好的有效性和實際工程應用價值。