构建受治理的AI代理：成本、控制与合规框架

随着AI代理越来越多地用于回答客户问题、编写和部署代码、检索公司知识以及执行业务操作，其治理变得至关重要。本文提出了一个以LLM网关为核心的治理框架，该网关作为运行时控制平面，将策略转化为每个模型调用、工具调用和代理跳转中的可执行决策。

治理的重要性源于三个关键驱动因素：代理工作负载消耗更多令牌，使AI支出更难预测；业务关键型代理引入了原型所没有的正常运行时间和连续性要求；隐私、安全和AI特定法规要求组织证明策略不仅存在，而且得到一致应用。例如，欧盟AI法案将AI系统按风险类别分类，违规将面临重大处罚。同时，模型市场日益多样化，前沿模型提供商提供更强大但价格更高的模型，而开源模型正缩小质量差距，成本更低。企业需要管理一个模型组合，决定哪些模型被允许、能处理哪些任务，以及如何平衡质量、成本、延迟和风险。

LLM网关提供了单一位置来认证使用、选择批准模型、最小化暴露上下文、强制执行数据和支出策略、管理故障以及保留决策证据。与追踪、评估和监控系统连接后，网关还能随时间改进决策。其最大战略优势之一是可选性：团队可以采用更好的模型并构建更强大的代理，而无需在每个应用程序中重新实现安全、策略和遥测。

治理设定规则，网关强制执行规则。一个有效的运营模型包括五个部分：治理（建立身份、所有权、风险层级和策略）、决策（选择模型、升级请求、故障转移）、保护（在每个调用边界强制执行控制）、观察（测量行为结果）和保证（保留决策谱系并管理变更）。组织从不同起点出发，常见入口点包括可见性主导（控制令牌支出）、控制主导（处理敏感数据）和保证主导（受监管行业需要证据）。随着采用增长，企业最终需要三者兼备。

网关只有在安全基础上才能强制执行策略。基础包括安全性（静态和传输中加密、明确的责任共担模型）、身份认证（通过SAML/OIDC的SSO、即时供应）、审计日志（捕获谁运行了工作负载、更改了策略以及结果）、用户管理（基于角色的访问控制、SCIM自动化）、提供商密钥（集中存储，一次轮换）和数据分离（团队和工作空间隔离）。对于受监管行业，数据驻留是关键合规要求。

需要治理的内容包括LLM调用、工具调用、MCP调用和代理间（A2A）交互，每种都有不同风险和治理要求。LLM调用可能将PII泄露到提供商日志；工具调用可能对敏感系统执行操作；MCP调用可能将数据发送出组织边界；A2A交互可能跨代理链传递未授权上下文。对于代理，最大风险通常不是模型说什么，而是代理能做什么。治理必须扩展到内容过滤之外，包括工具授权、凭据分配以及何时需要人工批准。

构建网关时，组织应评估构建自定义网关的真实成本。基本转发层相对简单，但构建和维护控制层是耗时工作。护城河需精细调整以避免误报。运行关键基础设施需要持续的提供商集成、准确计费、模型弃用管理和可靠审计证据。真正的考量是组织是否想承担长期成本和生产控制平面的风险。

网关应集成到代理堆栈中。独立网关可以强制执行策略，但无法解释调用原因或后续操作。与追踪、评估和监控系统连接的网关可以显示策略违规在追踪中的表现，并支持基于评估的持续改进。采用应简单：通过更改base_url指向网关，无需其他代码更改，且可集中管理。可靠性方面，网关不能成为单点故障，需要超时、负载均衡、明确的故障打开/关闭行为。回退模型必须是策略等效的，即满足相同的数据处理、驻留和安全要求。速率限制和警报可避免提供商限制和指示代理健康问题。