SafeAI:面向AI代理的開源靜態風險分析工具
SafeAI 是一款靜態分析工具,專為AI應用源代碼設計,用於檢測安全風險、能力暴露和治理缺口。它完全離線運行,不執行代理或調用LLM,可集成到CI/CD管道中。支持8種AI框架,識別多種能力(如shell執行、文件系統訪問等),並生成SARIF、JSON、HTML等格式報告。
SafeAI 是一個專為AI代理系統設計的開源靜態風險分析工具,旨在幫助開發者在部署前發現源代碼中的安全風險、能力暴露和治理缺口。與傳統的應用安全工具(如SAST、SCA)不同,SafeAI 專注於AI代理特有的風險面,包括提示注入、代理工具濫用、能力擴散、MCP暴露以及治理缺失等。
該工具完全離線運行,不執行代理代碼也不調用大型語言模型,確保分析過程安全可控。它能夠解析八種主流AI代理框架,包括LangGraph、CrewAI、LangChain、Semantic Kernel、OpenAI Agents SDK、Microsoft Agent Framework、Azure AI Foundry和Bedrock Agent,並從中提取框架特定信息,如節點、工具、模型等。
SafeAI 的核心功能包括框架檢測、能力發現、AI風險分析、提示風險分析、工具分析、內存分析、MCP分析、數據泄露檢測以及CI/CD集成。它通過AST解析、能力模式匹配和依賴掃描,將發現的框架對象映射到風險類別,並通過規則引擎生成信任評分(0-100)。支持的能力涵蓋shell執行、文件系統訪問、瀏覽器自動化、規劃編排、代理委託、內存/檢查點、RAG檢索、GitHub/Slack/Email集成、數據庫訪問、雲服務、外部API以及MCP服務等。
在輸出方面,SafeAI 支持終端摘要、JSON、SARIF 2.1.0和HTML報告,並可直接集成到GitHub Actions、GitLab CI和Azure DevOps等CI/CD管道中。其SARIF輸出兼容GitHub Advanced Security和Azure DevOps等平台。
安裝SafeAI需要Python 3.11或3.12以及PyYAML。用户可以從源碼安裝,然後通過命令行運行掃描。SafeAI提供豐富的選項,如指定輸出格式和失敗閾值。示例輸出顯示了風險評分和發現的詳細信息。
SafeAI目前處於早期預覽階段,遵循Apache 2.0許可證發佈,並鼓勵社區貢獻。項目路線圖規劃了從靜態風險掃描到企業級解決方案的多個階段,旨在成為AI能力和風險分析的開源基礎。