AI News HubLIVE
站內改寫1 分鐘閱讀

KitForge – 生成AI智慧體清單;透過強制審批門限搭建

KitForge是一個開源框架,透過確定性門控機制強制執行AI智慧體的安全控制,包括許可權預算、審計追蹤、人工審批和斷路器。它提供瀏覽器內設計工具和Python CLI,可生成帶強制安全措施的智慧體程式碼。

來源Hacker News AI作者: stoicstoic

為何存在?大多數“智慧體安全”框架描述了程式碼從不強制執行的護欄——一個始終返回真的審計驗證,從不阻止的預算計數器。KitForge則以相反方式構建:控制機制是模型周圍的確定性門控,且倉庫附帶證明它們能阻止實際違規的測試。執行python -m pytest tests/,觀察被篡改的審計日誌如何驗證失敗,以及被拒絕的審批如何中止操作。

KitForge強制實施的安全機制包括:

  • 許可權預算阻斷:工具呼叫、令牌和掛鐘計數器遞減並在耗盡時引發異常,智慧體迴圈停止,而非記錄警告並繼續。
  • 防篡改審計追蹤:僅追加、HMAC鏈式日誌。verify()函式重新計算鏈,若任何條目被更改、重排序或刪除則返回false。這不是一個空操作。
  • 人工審批門控:拒絕或超時的審批會引發異常,受保護的操作絕不被執行。審批在結構上是必需的,而非禮貌請求。
  • 斷路器和輸出驗證:斷路器在重複工具失敗後開啟並拒絕進一步呼叫;工具輸出在接觸智慧體狀態前需透過宣告的模式驗證。

使用者可透過瀏覽器設計智慧體:訪問KitForge網站,使用內建設計器繪製智慧體,獲得有效的blueprint.json檔案。此設計可一鍵透過合規掃描器檢查。實際程式碼透過Python CLI在本地生成。快速開始步驟:解壓下載的zip檔案,安裝唯一的執行時依賴pydantic,執行測試確保13項強制測試透過,然後使用python -m kitforge demo -o ./my-agent生成示例智慧體(季度收益分析器)。進入目錄後設定審計金鑰並執行,智慧體迴圈開始,人工審批門控會在“釋出”操作前等待批准。

誠實的範圍:僅支援Python和LangGraph模式。生成的圖執行器最小化,生產環境中可替換為langgraph.StateGraph,但安全連線相同。生成的工具是模擬樁,將其連線到真實系統(以及真實的審批人——Slack、郵件、Web)是最後一步,由使用者完成。KitForge強制執行其自帶的控制,但不能替代特定部署的安全審查。它是AgentKits治理工具集的一部分,另請參閱合規掃描器和風險評估。