展示 HN:在生產前發現多智慧體 AI 系統的故障點
swarm-test 是一個多智慧體 AI 系統的靜態可靠性測試工具,無需即時 LLM 呼叫即可識別級聯故障、單點故障和上下文洩漏等問題,並提供 Swarm 評分和互動式報告。
swarm-test 是一款面向多智慧體 AI 系統的靜態可靠性測試工具,旨在幫助開發者在生產環境之前發現潛在故障。該工具透過分析智慧體之間的拓撲結構,識別級聯故障、單點故障(SPOF)、上下文洩漏、意圖漂移、超時彈性、共謀行為、軌跡異常以及合約違規等問題。所有測試均基於靜態圖分析,無需呼叫即時 LLM,因此結果確定性高且無 API 成本。
swarm-test 支援 CrewAI、LangGraph、AutoGen 等主流框架,也支援自定義靜態圖。安裝簡單,透過 pip 即可完成:pip install swarm-test。執行後,工具會生成一個 0-100 的 Swarm 評分,並附帶互動式 D3 儀表板,直觀展示智慧體之間的關係和風險點。評分結果可直接用於 CI 流程,例如透過 GitHub Action 在 PR 中自動標註問題。
該工具的核心功能包括:級聯故障模擬(逐一模擬智慧體失效並評估下游影響)、爆炸半徑分析(檢測圖論中的關鍵節點)、上下文洩漏掃描(基於正則匹配敏感資料)、意圖漂移檢測(對比智慧體實際行為與角色宣告)、共謀檢測(發現繞過協調者的密集子圖)、超時彈性分析(識別無超時邊界的長同步鏈)、軌跡分析(檢測自迴圈和無限迴圈)以及合約驗證(可選,需提供 YAML 合約檔案)。
swarm-test 還提供豐富的配置選項,支援 YAML 配置檔案或 pyproject.toml 中的 [tool.swarmtest] 表。輸出格式包括 console、JSON、Markdown、HTML,並可匯出為 Mermaid、DOT 或 PNG 圖形。歷史跟蹤功能可記錄每次執行的評分變化,便於趨勢分析。此外,工具支援外掛系統,允許使用者自定義測試項。
該專案基於 MIT 許可證開源,程式碼託管在 GitHub 上。開發者表示,如果 swarm-test 幫助發現了真實 bug,歡迎給倉庫加星以支援專案發展。