AI代理的运行时治理:路径上的策略
本文提出了一个用于AI代理运行时治理的形式化框架,将合规策略定义为从代理身份、部分路径、提议的下一步行动和组织状态到策略违规概率的确定性函数。作者论证了运行时评估是路径依赖策略的通用情况,并给出了具体策略示例(受AI法案启发)以及参考实现。
论文《AI代理的运行时治理:路径上的策略》由Maurits Kaptein等人撰写,于2026年3月17日提交至arXiv。该论文关注AI代理(利用大语言模型进行规划、推理和行动的系统)在运行时产生的非确定性和路径依赖行为,这些行为无法在设计时完全治理。作者们将“治理”定义为在最大化任务完成率与最小化法律、数据泄露、声誉等成本之间取得平衡。他们提出,执行路径是运行时治理的核心对象,并形式化合规策略为确定性函数,该函数将代理身份、部分路径、提议的下一步行动和组织状态映射到策略违规概率。
论文进一步展示了提示级指令(系统提示)和静态访问控制是该框架的特例:前者通过影响路径分布而不直接评估路径;后者评估忽略路径的确定性策略,因此只能处理所有可能路径的一个子集。作者强调,运行时评估是通用情况,对于任何路径依赖的策略都是必要的。他们还开发了形式化框架,提出了受AI法案启发的具体政策示例,讨论了参考实现,并指出了风险校准和强制合规的局限性等开放问题。
该框架为AI代理的负责任部署提供了理论基础,特别是在需要动态适应和合规的复杂环境中。它揭示了现有方法(如系统提示和访问控制)的不足,并呼吁采用更全面的运行时治理方法。论文的贡献在于将治理问题形式化,并为后续研究提供了清晰的方向。未来工作包括风险校准、多代理环境下的治理,以及强制合规的边界等。