多時間尺度潛在動作深度強化學習用於邊緣雲網絡聯合優化

在分層邊緣雲計算（HECC）系統中，動態任務到達和異構資源常導致邊緣層與雲層之間的負載不平衡，從而增加排隊時延並降低資源利用率。針對這一挑戰，研究者提出了聯合服務放置、計算委派和功率控制（JSCP）問題，旨在最小化平均端到端時延。該問題因離散與連續變量的強耦合而成為混合整數非凸NP-hard優化問題。為應對複雜性，研究團隊利用決策動態的內在差異，將問題分解為長期系統配置和短期資源分配兩個子問題。基於此，他們設計了一個兩時間尺度多層深度強化學習框架（2T-MDRL-LA），並引入潛在動作空間。該框架通過變分自編碼器（VAE）將高維組合動作空間壓縮為低維潛在表示，從而高效探索決策空間。仿真實驗表明，所提框架能自適應動態網絡條件，且性能接近分支定界最優解。相較於無計算委派的方案，平均端到端時延降低20.8%，資源利用率提升13%；同時，收斂速度比傳統近端策略優化（PPO）快約50%。這一成果為邊緣雲網絡的實時優化提供了可行方案。此外，該框架還聯合優化了用户關聯、任務卸載和用户發射功率等決策變量，通過多代理協作實現了系統全局性能的提升。論文作者包括Vo Phi Son等四位研究者，論文於2026年6月30日提交至arXiv，並被歸類於機器學習領域。該研究為未來邊緣計算系統的智能管理提供了新的方法論基礎，有望在物聯網、增強現實等低時延應用場景中發揮重要作用。