構建AI安全代理治理的未來：從架構層面嵌入信任與合規
隨着AI代理在安全運營中的廣泛應用，現有的分級自主權模型無法證明代理在壓力下持續正確行動。文章提出四層分離架構（技能、推理、模型、上下文），將推理方法從模型中解耦，實現可轉移的信任證據和持續評估。通過分類準確度、規劃質量、檢索質量和 grounding 質量四個維度的評估，結合漸進信任和消融測試，構建可治理、可解釋、可審計的AI安全代理系統。
AI安全代理正迅速從概念走向生產環境。如今，代理能夠處理告警分類、端點調查、檢測規則創建、指標豐富化，甚至執行安全運營人員的大部分操作。然而，治理能力並未跟上技術發展的步伐。大多數團隊在部署生產級代理時，默認採用分層自主權模型：低風險操作完全自動化，中等風險需人工監督，高風險必須人工審批。但這種模式僅能控制代理能做什麼，無法判斷其執行質量。一個將每個告警都標記為誤報的分類代理，由於其操作始終在批准的權限範圍內，永遠不會觸發治理門控。
與此同時，監管要求正逐步收緊。ISO 42001、DORA、NIS2以及EU AI Act均提出，組織必須證明AI系統按預期運行，人類保持有意義的監督，並能解釋決策過程。雖然針對自主安全代理的評估標準尚未出台，但方向已明確。那些現在就開始構建治理基礎設施的組織，將在監管全面落地時做好準備。
核心問題在於：當前的代理推理邏輯深度嵌入在大語言模型（LLM）中，而概率模型的輸出缺乏一致性。更換模型，或同一事件重複出現，推理模式可能改變，導致不同的升級決策。基於特定模型傾向建立的治理框架，在模型更新或權重變化時可能失效。
解決方案是將推理顯式提取為獨立層。推理是代理行為的核心決定因素，決定了告警是否升級、橫向移動是否被調查、主機是否隔離。當推理內嵌於模型時，我們依賴模型的通用智能來彌補方法論缺失。我們需要將推理定義為明確的、可測試的層，如預定義指令集、知識庫或運行時調用的工作流。模型的作用簡化為任務執行。一個以良好方法論驅動的小型、低成本模型，往往比猜測方法論的前沿模型表現更優，因為推理基於運營場景而非訓練數據。
這種分離對治理有三方面重要意義：
- 治理需要可預測性：漸進信任假設今天測量到的系統與明天運行的系統一致。如果更換模型改變推理模式，舊模型積累的信任證據無法轉移，每次模型變更都需回到最大監督狀態。模型提供商的集中化風險加劇了這一困境。
- 評估需要一致性：如果方法論僅依賴於運行的模型，那麼所有評估（如消融研究、基準測試、質量指標）都變成模型特定而非系統特定，每次模型變更都需從頭重新評估。
- 合規需要可解釋性：當監管機構詢問代理如何決定升級調查時，答案必須基於文檔化的流程。如果答案歸結為“詢問模型提供商”，則無法證明控制力。
為此，文章提出四層分離架構：
- 技能層：定義代理能做什麼，包括分類、豐富化、取證、檢測工程等可組合單元。
- 推理層：定義代理如何思考，包括調查方法論、升級邏輯、證據評估標準、假設生成模式。該層顯式、可測試、獨立於模型，支持版本控制和基準測試。
- 模型層：LLM執行其內在推理，但不同模型（Claude、Gemini、GPT等）的推理模式不同，結果可能偏差。
- 上下文層：調查深度取決於平台從環境中提取上下文的能力。清晰記錄每個代理決策、依據的證據及正確性，是持續測量和基準測試的基礎。
這種分離直接解決了上述問題：信任證據附加到推理方法論而非模型，更換模型時信任可轉移；基準測試針對推理方法論，模型變更只需驗證新模型能否正確執行相同推理；監管詢問時，可指向版本化、文檔化、可測試的推理層。
漸進信任理念是從最大監督開始，隨着證據積累逐步放鬆。一個經過數百次批准、每次建議都在事後審查中被證明合理的代理，理應獲得不同級別的信任。而這種信任的積累正是基於四層分離將信任與模型解耦。
重要的是，當代理性能因模型漂移、數據分佈變化或新型攻擊模式而下降時，我們需要指標來發現問題，並迅速收緊監督。但測量信任需要觀察代理不僅做了什麼，還包括如何推理。
Huntress的首席安全研究員Matt Kiely強調，漸進信任需要證據，這些證據來自四個維度的持續評估：
- 分類準確度：代理是否得出正確答案？通過精確率和召回率衡量。但單獨這項指標無法評估可靠性，因為通過幻覺推理得出的正確結論並不可靠。
- 規劃質量：代理是否考慮了多個假設？例如，針對異地登錄事件，是否考慮不可能旅行、令牌盜竊和VPN使用，還是侷限於第一個假設？
- 檢索質量：代理是否找到了正確的證據？如果知識庫包含相關歷史事件但代理從未檢索，則基於不完整信息運行。
- 接地質量：代理的推理是否得到所找到證據的支持？高未支持聲稱率即使結論正確也具有風險。
這四個維度構成漸進信任所需的證據。分類準確度告訴是否信任輸出；規劃、檢索和接地質量告訴是否信任過程。
消融測試使評估具體化：構建已知真實結果的基準套件，運行代理並捕獲完整軌跡，然後系統性地改變配置——無知識庫、無工具、多步推理等——比較結果，確定哪些組件真正貢獻價值。
當AI代理投入安全運營時，我們不僅需要它們監控和響應安全事件，還需要監控和響應代理做出的決策。傳統安全關注“發生了什麼”，現在必須轉向“為什麼發生”：代理考慮了哪些證據？探索並放棄了哪些假設？推理如何導致行動？是否幻覺了兩個不相關事件之間的聯繫？是否跳過了關鍵調查步驟？置信度是否反映真實信號？
這種語義差距就是遙測及其評估。例如，Uber已構建系統來評估其環境中代理行為，通過持續觀察和測量，確保治理體系有效運轉。總之，AI安全代理的未來不在於能力增強，而在於構建可治理、可解釋、可審計的架構，使信任成為工程的一部分。