AI CostGuard:AI代理本地优先运行时安全层
AI CostGuard是一个开源(MIT)的本地优先运行时安全层,专为AI代理设计,能在API调用执行前防止费用失控、循环、重试和预算超支。它包装OpenAI兼容客户端和函数式SDK调用,本地估算请求成本,阻止预算超限,检测重复提示,发出结构化事件,并提供CLI检查和本地仪表板。
AI CostGuard 是由 Salim Assili 开发的一个开源(MIT 许可)的本地优先运行时安全层,专门用于保护 AI 代理在执行 API 调用之前免受费用失控、无限循环、重试风暴和预算爆炸的影响。该工具通过包装 OpenAI 兼容的客户端和函数式 SDK(如 Vercel AI SDK、LangChain 等)来工作,在每次 API 调用实际执行之前,它会本地估算请求成本,并根据配置的预算和策略决定是否允许该调用。所有检查均在本地完成,不依赖任何 SaaS 控制平面或云仪表板,确保了数据的隐私和低延迟。
AI CostGuard 的核心功能包括:通过内置的定价注册表或用户自定义的定价覆盖来准确估算每次调用的成本;基于字符三重相似度检测重复提示,从而识别潜在的循环;检测重试模式以防止重试风暴;为每个项目、用户或会话提供隔离的预算和行为状态。当检测到违规时,它会抛出结构化的 GuardError 代码,如 BUDGET_EXCEEDED、LOOP_DETECTED、RETRY_STORM_DETECTED 等,并提供详细的元数据以便调试。
该工具提供了丰富的配置选项。用户可以设置预算限制、最大步骤数、循环检测阈值、重试阈值、定价覆盖规则、Webhook 通知(支持 Slack 和 Discord)以及 JSONL 事件日志。此外,它还包含一个 CLI 工具用于快速预算检查,以及一个本地仪表板用于可视化事件数据。对于需要跨进程共享支出的场景,AI CostGuard 提供了一个可选的 Pro 模块,使用 Redis 进行分布式追踪。但请注意,许可证验证在当前版本中仅作为兼容性字段存在,并不强制执行本地许可检查。
性能方面,根据在 Node v24.14.1/Windows 上的基准测试,每次调用增加约 0.020691 毫秒的开销。不过,作者建议用户在目标运行时重新测试以获取准确的性能数据。AI CostGuard 提供了多种集成示例,包括 OpenAI、Anthropic、Vercel AI SDK、LangChain、Mastra、CrewAI 以及 CI 环境,使得开发者可以快速上手并应用到实际项目中。总体而言,AI CostGuard 是一个轻量级但功能强大的工具,旨在帮助开发者避免因 AI 代理失控而导致的高额费用,同时保持对成本和行为的透明控制。