企业人工智能代理的部署前验证一直是LLM能力基准测试与实际生产部署之间的关键缺口。一旦代理上线运行,事后监控、人工介入控制和提示级护栏所能提供的保障十分有限。为此,研究者提出一个基于本体的验证框架,试图将认证工作前置到部署之前。
该框架由三个核心组件构成。第一是代理操作包络(Agent Operational Envelope),它在权限、领域约束、安全属性、治理规则和自主性级别等维度上形式化定义了认证空间。第二是从本体到场景的生成管道,能够自动推导出监管、运营和对抗性测试场景。第三是信任证书(Trust Certificate),它携带机器可验证的证明,并给出分级的部署结论:批准、有条件批准或拒绝。
研究团队在四个受监管行业——金融科技、银行、保险和医疗——开展了受控试点,并在美国和越南两个司法辖区实例化为五个“行业×监管制度”单元。实验生成了1800个测试场景,依据125条来自原始来源的监管要求和25个人为注入的故障进行评估。
结果显示,本体驱动的场景生成(G4)实现了48.3%的监管覆盖率,而基于角色的基线方法为33.1%,校正后p值为.0006,具有统计显著性。同时,本体方法在领域特异性上得分最高,达到4.77/5.0(p=2e-6)。然而,作者也指出,与基线及检索增强提示相比,覆盖优势在Bonferroni校正后并不稳健,说明这一优势仍需进一步验证。
为了检验结果的泛化性,研究者在三个LLM系列(Claude Sonnet 4、Qwen 2.5 72B、Gemma 4 26B)上进行了交叉验证,总计生成5400个场景,复现了“基于角色 vs 基于本体”的模式。
总体而言,该研究将本体驱动的场景生成定位为面向监管密集型领域的可信补充手段,可与基于角色的测试套件结合使用。论文共26页、含3张图,是arXiv:2604.00555的姊妹篇,涉及人工智能、机器学习和软件工程等学科。