在联网的信息物理系统中实现安全协调,学习算法必须同时应对三类棘手特性:既有离散又有连续的混合动作空间、训练阶段必须满足的硬性安全约束,以及由物理规律支配的系统动力学。来自arXiv的论文《TRIDENT:打破混合-安全-物理耦合,实现可证明安全的多智能体强化学习》指出,这三类特性并非彼此独立,而是构成一个定向的偏置循环,使得把现成模块简单拼装起来的做法无法奏效。作者将这一现象形式化为“三方耦合引理”,并据此提出TRIDENT这一多智能体强化学习框架,声称其是首个将三个核心组件协同设计、以逐一抵消上述偏置泄漏的框架。
TRIDENT的三个组件分别针对耦合循环中的一处泄漏。第一部分是Richardson-Romberg梯度校正,用于降低Gumbel-Softmax采样带来的偏置,将偏置量级从O(tau)压低到O(tau^2),从而缓解混合动作离散化引入的误差。第二部分是受Lyapunov约束的顺序信赖域更新,它在每次迭代中强制满足可行性,而不是把安全约束留到训练结束后再处理。第三部分是物理信息残差评论家,其特点在于对价值函数而非奖励进行分解,把物理结构嵌入价值估计之中。三者并非独立叠加,而是围绕同一个耦合结构进行联合设计。
在理论层面,作者给出了收敛性保证:算法以O~(1/sqrt(K))的速率收敛到受限纳什均衡,同时累积违规量满足O(sqrt(K))的上界。这一组合意味着安全性与学习进度可以同时得到可控的保证,而非以牺牲其中一方为代价。
实验覆盖三个具有代表性的场景:多无人机移动边缘计算、自主交叉口管理,以及一个混合动作版本的SMAC变体。结果显示,与MADDPG相比,TRIDENT将训练期违规减少95.5%;与MACPO相比减少76.3%;同时奖励比最强的无约束基线高出13.5%。这些结果表明,显式处理三类特性的耦合关系,比单独修补任一模块更能同时改善安全性与任务表现。
该论文由Zijie Meng等共8位作者完成,提交于2026年6月16日,共16页、含4幅图,归类于机器学习(cs.LG)与人工智能(cs.AI)方向,arXiv编号为2606.18308。