展示 HN:在生產前發現多智能體 AI 系統的故障點
swarm-test 是一個多智能體 AI 系統的靜態可靠性測試工具,無需實時 LLM 調用即可識別級聯故障、單點故障和上下文泄漏等問題,並提供 Swarm 評分和交互式報告。
swarm-test 是一款面向多智能體 AI 系統的靜態可靠性測試工具,旨在幫助開發者在生產環境之前發現潛在故障。該工具通過分析智能體之間的拓撲結構,識別級聯故障、單點故障(SPOF)、上下文泄漏、意圖漂移、超時彈性、共謀行為、軌跡異常以及合約違規等問題。所有測試均基於靜態圖分析,無需調用實時 LLM,因此結果確定性高且無 API 成本。
swarm-test 支持 CrewAI、LangGraph、AutoGen 等主流框架,也支持自定義靜態圖。安裝簡單,通過 pip 即可完成:pip install swarm-test。運行後,工具會生成一個 0-100 的 Swarm 評分,並附帶交互式 D3 儀表板,直觀展示智能體之間的關係和風險點。評分結果可直接用於 CI 流程,例如通過 GitHub Action 在 PR 中自動標註問題。
該工具的核心功能包括:級聯故障模擬(逐一模擬智能體失效並評估下游影響)、爆炸半徑分析(檢測圖論中的關鍵節點)、上下文泄漏掃描(基於正則匹配敏感數據)、意圖漂移檢測(對比智能體實際行為與角色聲明)、共謀檢測(發現繞過協調者的密集子圖)、超時彈性分析(識別無超時邊界的長同步鏈)、軌跡分析(檢測自循環和無限循環)以及合約驗證(可選,需提供 YAML 合約文件)。
swarm-test 還提供豐富的配置選項,支持 YAML 配置文件或 pyproject.toml 中的 [tool.swarmtest] 表。輸出格式包括 console、JSON、Markdown、HTML,並可導出為 Mermaid、DOT 或 PNG 圖形。歷史跟蹤功能可記錄每次運行的評分變化,便於趨勢分析。此外,工具支持插件系統,允許用户自定義測試項。
該項目基於 MIT 許可證開源,代碼託管在 GitHub 上。開發者表示,如果 swarm-test 幫助發現了真實 bug,歡迎給倉庫加星以支持項目發展。