AI News HubLIVE
站內改寫1 分鐘閱讀

KitForge – 生成AI智能體清單;通過強制審批門限搭建

KitForge是一個開源框架,通過確定性門控機制強制執行AI智能體的安全控制,包括權限預算、審計追蹤、人工審批和斷路器。它提供瀏覽器內設計工具和Python CLI,可生成帶強制安全措施的智能體代碼。

來源Hacker News AI作者: stoicstoic

為何存在?大多數“智能體安全”框架描述了代碼從不強制執行的護欄——一個始終返回真的審計驗證,從不阻止的預算計數器。KitForge則以相反方式構建:控制機制是模型周圍的確定性門控,且倉庫附帶證明它們能阻止實際違規的測試。運行python -m pytest tests/,觀察被篡改的審計日誌如何驗證失敗,以及被拒絕的審批如何中止操作。

KitForge強制實施的安全機制包括:

  • 權限預算阻斷:工具調用、令牌和掛鐘計數器遞減並在耗盡時引發異常,智能體循環停止,而非記錄警告並繼續。
  • 防篡改審計追蹤:僅追加、HMAC鏈式日誌。verify()函數重新計算鏈,若任何條目被更改、重排序或刪除則返回false。這不是一個空操作。
  • 人工審批門控:拒絕或超時的審批會引發異常,受保護的操作絕不被執行。審批在結構上是必需的,而非禮貌請求。
  • 斷路器和輸出驗證:斷路器在重複工具失敗後打開並拒絕進一步調用;工具輸出在接觸智能體狀態前需通過聲明的模式驗證。

用户可通過瀏覽器設計智能體:訪問KitForge網站,使用內置設計器繪製智能體,獲得有效的blueprint.json文件。此設計可一鍵通過合規掃描器檢查。實際代碼通過Python CLI在本地生成。快速開始步驟:解壓下載的zip文件,安裝唯一的運行時依賴pydantic,運行測試確保13項強制測試通過,然後使用python -m kitforge demo -o ./my-agent生成示例智能體(季度收益分析器)。進入目錄後設置審計密鑰並運行,智能體循環開始,人工審批門控會在“發佈”操作前等待批准。

誠實的範圍:僅支持Python和LangGraph模式。生成的圖運行器最小化,生產環境中可替換為langgraph.StateGraph,但安全連線相同。生成的工具是模擬樁,將其連接到真實系統(以及真實的審批人——Slack、郵件、Web)是最後一步,由用户完成。KitForge強制執行其自帶的控制,但不能替代特定部署的安全審查。它是AgentKits治理工具集的一部分,另請參閲合規掃描器和風險評估。