多时间尺度潜在动作深度强化学习用于边缘云网络联合优化

在分层边缘云计算（HECC）系统中，动态任务到达和异构资源常导致边缘层与云层之间的负载不平衡，从而增加排队时延并降低资源利用率。针对这一挑战，研究者提出了联合服务放置、计算委派和功率控制（JSCP）问题，旨在最小化平均端到端时延。该问题因离散与连续变量的强耦合而成为混合整数非凸NP-hard优化问题。为应对复杂性，研究团队利用决策动态的内在差异，将问题分解为长期系统配置和短期资源分配两个子问题。基于此，他们设计了一个两时间尺度多层深度强化学习框架（2T-MDRL-LA），并引入潜在动作空间。该框架通过变分自编码器（VAE）将高维组合动作空间压缩为低维潜在表示，从而高效探索决策空间。仿真实验表明，所提框架能自适应动态网络条件，且性能接近分支定界最优解。相较于无计算委派的方案，平均端到端时延降低20.8%，资源利用率提升13%；同时，收敛速度比传统近端策略优化（PPO）快约50%。这一成果为边缘云网络的实时优化提供了可行方案。此外，该框架还联合优化了用户关联、任务卸载和用户发射功率等决策变量，通过多代理协作实现了系统全局性能的提升。论文作者包括Vo Phi Son等四位研究者，论文于2026年6月30日提交至arXiv，并被归类于机器学习领域。该研究为未来边缘计算系统的智能管理提供了新的方法论基础，有望在物联网、增强现实等低时延应用场景中发挥重要作用。