构建AI安全代理治理的未来：从架构层面嵌入信任与合规
随着AI代理在安全运营中的广泛应用，现有的分级自主权模型无法证明代理在压力下持续正确行动。文章提出四层分离架构（技能、推理、模型、上下文），将推理方法从模型中解耦，实现可转移的信任证据和持续评估。通过分类准确度、规划质量、检索质量和 grounding 质量四个维度的评估，结合渐进信任和消融测试，构建可治理、可解释、可审计的AI安全代理系统。
AI安全代理正迅速从概念走向生产环境。如今，代理能够处理告警分类、端点调查、检测规则创建、指标丰富化，甚至执行安全运营人员的大部分操作。然而，治理能力并未跟上技术发展的步伐。大多数团队在部署生产级代理时，默认采用分层自主权模型：低风险操作完全自动化，中等风险需人工监督，高风险必须人工审批。但这种模式仅能控制代理能做什么，无法判断其执行质量。一个将每个告警都标记为误报的分类代理，由于其操作始终在批准的权限范围内，永远不会触发治理门控。
与此同时，监管要求正逐步收紧。ISO 42001、DORA、NIS2以及EU AI Act均提出，组织必须证明AI系统按预期运行，人类保持有意义的监督，并能解释决策过程。虽然针对自主安全代理的评估标准尚未出台，但方向已明确。那些现在就开始构建治理基础设施的组织，将在监管全面落地时做好准备。
核心问题在于：当前的代理推理逻辑深度嵌入在大语言模型（LLM）中，而概率模型的输出缺乏一致性。更换模型，或同一事件重复出现，推理模式可能改变，导致不同的升级决策。基于特定模型倾向建立的治理框架，在模型更新或权重变化时可能失效。
解决方案是将推理显式提取为独立层。推理是代理行为的核心决定因素，决定了告警是否升级、横向移动是否被调查、主机是否隔离。当推理内嵌于模型时，我们依赖模型的通用智能来弥补方法论缺失。我们需要将推理定义为明确的、可测试的层，如预定义指令集、知识库或运行时调用的工作流。模型的作用简化为任务执行。一个以良好方法论驱动的小型、低成本模型，往往比猜测方法论的前沿模型表现更优，因为推理基于运营场景而非训练数据。
这种分离对治理有三方面重要意义：
- 治理需要可预测性：渐进信任假设今天测量到的系统与明天运行的系统一致。如果更换模型改变推理模式，旧模型积累的信任证据无法转移，每次模型变更都需回到最大监督状态。模型提供商的集中化风险加剧了这一困境。
- 评估需要一致性：如果方法论仅依赖于运行的模型，那么所有评估（如消融研究、基准测试、质量指标）都变成模型特定而非系统特定，每次模型变更都需从头重新评估。
- 合规需要可解释性：当监管机构询问代理如何决定升级调查时，答案必须基于文档化的流程。如果答案归结为“询问模型提供商”，则无法证明控制力。
为此，文章提出四层分离架构：
- 技能层：定义代理能做什么，包括分类、丰富化、取证、检测工程等可组合单元。
- 推理层：定义代理如何思考，包括调查方法论、升级逻辑、证据评估标准、假设生成模式。该层显式、可测试、独立于模型，支持版本控制和基准测试。
- 模型层：LLM执行其内在推理，但不同模型（Claude、Gemini、GPT等）的推理模式不同，结果可能偏差。
- 上下文层：调查深度取决于平台从环境中提取上下文的能力。清晰记录每个代理决策、依据的证据及正确性，是持续测量和基准测试的基础。
这种分离直接解决了上述问题：信任证据附加到推理方法论而非模型，更换模型时信任可转移；基准测试针对推理方法论，模型变更只需验证新模型能否正确执行相同推理；监管询问时，可指向版本化、文档化、可测试的推理层。
渐进信任理念是从最大监督开始，随着证据积累逐步放松。一个经过数百次批准、每次建议都在事后审查中被证明合理的代理，理应获得不同级别的信任。而这种信任的积累正是基于四层分离将信任与模型解耦。
重要的是，当代理性能因模型漂移、数据分布变化或新型攻击模式而下降时，我们需要指标来发现问题，并迅速收紧监督。但测量信任需要观察代理不仅做了什么，还包括如何推理。
Huntress的首席安全研究员Matt Kiely强调，渐进信任需要证据，这些证据来自四个维度的持续评估：
- 分类准确度：代理是否得出正确答案？通过精确率和召回率衡量。但单独这项指标无法评估可靠性，因为通过幻觉推理得出的正确结论并不可靠。
- 规划质量：代理是否考虑了多个假设？例如，针对异地登录事件，是否考虑不可能旅行、令牌盗窃和VPN使用，还是局限于第一个假设？
- 检索质量：代理是否找到了正确的证据？如果知识库包含相关历史事件但代理从未检索，则基于不完整信息运行。
- 接地质量：代理的推理是否得到所找到证据的支持？高未支持声称率即使结论正确也具有风险。
这四个维度构成渐进信任所需的证据。分类准确度告诉是否信任输出；规划、检索和接地质量告诉是否信任过程。
消融测试使评估具体化：构建已知真实结果的基准套件，运行代理并捕获完整轨迹，然后系统性地改变配置——无知识库、无工具、多步推理等——比较结果，确定哪些组件真正贡献价值。
当AI代理投入安全运营时，我们不仅需要它们监控和响应安全事件，还需要监控和响应代理做出的决策。传统安全关注“发生了什么”，现在必须转向“为什么发生”：代理考虑了哪些证据？探索并放弃了哪些假设？推理如何导致行动？是否幻觉了两个不相关事件之间的联系？是否跳过了关键调查步骤？置信度是否反映真实信号？
这种语义差距就是遥测及其评估。例如，Uber已构建系统来评估其环境中代理行为，通过持续观察和测量，确保治理体系有效运转。总之，AI安全代理的未来不在于能力增强，而在于构建可治理、可解释、可审计的架构，使信任成为工程的一部分。