跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

TRIDENT:打破混合-安全-物理耦合,实现可证明安全的多智能体强化学习

文章摘要

该论文提出TRIDENT框架,指出混合离散-连续动作、训练时硬安全约束与物理动力学之间存在循环偏置耦合,并通过三个协同设计的组件加以抵消;理论证明收敛到受限纳什均衡并给出累积违规上界,在多无人机边缘计算、自主交叉口管理与混合SMAC任务上大幅降低训练期违规并提升奖励。

来源arXiv Machine Learning作者: Zijie Meng, Ziwei Li, Yufei Liu, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Miao Zhang
TRIDENT:打破混合-安全-物理耦合,实现可证明安全的多智能体强化学习
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在联网的信息物理系统中实现安全协调,学习算法必须同时应对三类棘手特性:既有离散又有连续的混合动作空间、训练阶段必须满足的硬性安全约束,以及由物理规律支配的系统动力学。来自arXiv的论文《TRIDENT:打破混合-安全-物理耦合,实现可证明安全的多智能体强化学习》指出,这三类特性并非彼此独立,而是构成一个定向的偏置循环,使得把现成模块简单拼装起来的做法无法奏效。作者将这一现象形式化为“三方耦合引理”,并据此提出TRIDENT这一多智能体强化学习框架,声称其是首个将三个核心组件协同设计、以逐一抵消上述偏置泄漏的框架。

TRIDENT的三个组件分别针对耦合循环中的一处泄漏。第一部分是Richardson-Romberg梯度校正,用于降低Gumbel-Softmax采样带来的偏置,将偏置量级从O(tau)压低到O(tau^2),从而缓解混合动作离散化引入的误差。第二部分是受Lyapunov约束的顺序信赖域更新,它在每次迭代中强制满足可行性,而不是把安全约束留到训练结束后再处理。第三部分是物理信息残差评论家,其特点在于对价值函数而非奖励进行分解,把物理结构嵌入价值估计之中。三者并非独立叠加,而是围绕同一个耦合结构进行联合设计。

在理论层面,作者给出了收敛性保证:算法以O~(1/sqrt(K))的速率收敛到受限纳什均衡,同时累积违规量满足O(sqrt(K))的上界。这一组合意味着安全性与学习进度可以同时得到可控的保证,而非以牺牲其中一方为代价。

实验覆盖三个具有代表性的场景:多无人机移动边缘计算、自主交叉口管理,以及一个混合动作版本的SMAC变体。结果显示,与MADDPG相比,TRIDENT将训练期违规减少95.5%;与MACPO相比减少76.3%;同时奖励比最强的无约束基线高出13.5%。这些结果表明,显式处理三类特性的耦合关系,比单独修补任一模块更能同时改善安全性与任务表现。

该论文由Zijie Meng等共8位作者完成,提交于2026年6月16日,共16页、含4幅图,归类于机器学习(cs.LG)与人工智能(cs.AI)方向,arXiv编号为2606.18308。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出三方耦合引理,说明混合动作、安全约束与物理动力学在朴素模块组合下会形成定向偏置循环。
  • 三个组件协同设计:Richardson-Romberg梯度校正、Lyapunov约束的顺序信赖域更新、物理信息残差评论家。
  • 证明O~(1/sqrt(K))收敛到受限纳什均衡与O(sqrt(K))累积违规界。
  • 实验中训练期违规较MADDPG降低95.5%、较MACPO降低76.3%,奖励较最强无约束基线提升13.5%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。