AI News HubLIVE
站内改写1 分钟阅读

展示 HN:在生产前发现多智能体 AI 系统的故障点

swarm-test 是一个多智能体 AI 系统的静态可靠性测试工具,无需实时 LLM 调用即可识别级联故障、单点故障和上下文泄漏等问题,并提供 Swarm 评分和交互式报告。

来源Hacker News AI作者: surajkumar001

swarm-test 是一款面向多智能体 AI 系统的静态可靠性测试工具,旨在帮助开发者在生产环境之前发现潜在故障。该工具通过分析智能体之间的拓扑结构,识别级联故障、单点故障(SPOF)、上下文泄漏、意图漂移、超时弹性、共谋行为、轨迹异常以及合约违规等问题。所有测试均基于静态图分析,无需调用实时 LLM,因此结果确定性高且无 API 成本。

swarm-test 支持 CrewAI、LangGraph、AutoGen 等主流框架,也支持自定义静态图。安装简单,通过 pip 即可完成:pip install swarm-test。运行后,工具会生成一个 0-100 的 Swarm 评分,并附带交互式 D3 仪表板,直观展示智能体之间的关系和风险点。评分结果可直接用于 CI 流程,例如通过 GitHub Action 在 PR 中自动标注问题。

该工具的核心功能包括:级联故障模拟(逐一模拟智能体失效并评估下游影响)、爆炸半径分析(检测图论中的关键节点)、上下文泄漏扫描(基于正则匹配敏感数据)、意图漂移检测(对比智能体实际行为与角色声明)、共谋检测(发现绕过协调者的密集子图)、超时弹性分析(识别无超时边界的长同步链)、轨迹分析(检测自循环和无限循环)以及合约验证(可选,需提供 YAML 合约文件)。

swarm-test 还提供丰富的配置选项,支持 YAML 配置文件或 pyproject.toml 中的 [tool.swarmtest] 表。输出格式包括 console、JSON、Markdown、HTML,并可导出为 Mermaid、DOT 或 PNG 图形。历史跟踪功能可记录每次运行的评分变化,便于趋势分析。此外,工具支持插件系统,允许用户自定义测试项。

该项目基于 MIT 许可证开源,代码托管在 GitHub 上。开发者表示,如果 swarm-test 帮助发现了真实 bug,欢迎给仓库加星以支持项目发展。