AIエージェントガバナンスの未来：アーキテクチャから信頼とコンプライアンスを組み込む
セキュリティ運用におけるAIエージェントの普及に伴い、現在の階層的自律モデルではエージェントがプレッシャー下で正しく行動していることを証明できない。本記事は、4層分離アーキテクチャ（スキル、推論、モデル、コンテキスト）を提案し、推論手法をモデルから切り離すことで、信頼エビデンスのモデル間移行と継続的評価を可能にする。分類精度、計画品質、検索品質、グラウンディング品質の4次元評価と段階的信頼、アブレーションテストを通じて、ガバナンス可能で説明可能、監査可能なAIセキュリティエージェントシステムを構築する。
AIセキュリティエージェントは急速に概念から実運用へと移行している。現在、エージェントはアラートのトリアージ、エンドポイントの調査、検出ルールの作成、指標の強化、さらにはセキュリティオペレーターが実行できるほとんどのアクションを実行できる。しかし、ガバナンス能力は技術の進歩に追いついていない。ほとんどのチームは、本番環境にエージェントを導入する際、階層的自律モデルをデフォルトとしている。低リスクアクションは完全自律、中リスクは監視、高リスクは人間の承認が必要。このモデルはエージェントが何をできるかを制御するが、その実行品質を評価することはできない。すべてのアラートを誤検知と分類するトリアージエージェントは、承認された範囲内で動作しているため、ガバナンスゲートをトリガーすることはない。
一方、規制要件は徐々に厳格化している。ISO 42001、DORA、NIS2、EU AI Actはすべて、組織がAIシステムが意図したとおりに動作し、人間が有意義な監視を維持し、意思決定プロセスを説明できることを証明するよう求めている。自律セキュリティエージェントに特化した評価基準はまだ存在しないが、方向性は明確である。今すぐガバナンスインフラを構築している組織は、規制が本格的に施行されたときに有利な立場に立つことができる。
核心的な問題は、エージェントの推論ロジックが大規模言語モデル（LLM）に深く埋め込まれており、確率的モデルは出力の一貫性が欠如していることである。モデルを変更するか、同じインシデントが繰り返し発生すると、推論パターンが変化し、異なるエスカレーション判断につながる可能性がある。特定のモデルの傾向に基づいて構築されたガバナンスフレームワークは、モデルが更新されたり、重みが変更されたりすると信頼性が低下する可能性がある。
解決策は、推論を明示的な独立層として抽出することである。推論はエージェントの行動の核となる決定要因であり、アラートのエスカレーションやクローズ、横方向の移動の調査、ホストの隔離を決定する。推論がモデルに組み込まれている場合、モデルの汎用知能に依存して方法論の欠如を補うことになる。推論を調査ワークフローのための明示的な層として定義する必要がある。これは、事前定義された命令セット、ナレッジベース、または実行時に呼び出されるエスカレーションロジックを組み込んだワークフローのように見えるかもしれない。モデルの役割はタスクの実行に縮小される。明確な方法論に基づく小型で安価なモデルは、特定の環境の方法論を推測するフロンティアモデルよりも優れたパフォーマンスを発揮する。なぜなら、推論が運用コンテキストに基づいているためである。
この分離はガバナンスに3つの重要な意味を持つ。
- ガバナンスには予測可能性が必要：段階的信頼（プログレッシブトラスト）は、今日測定されているシステムが明日も同じように動作することを前提としている。モデルを変更すると推論パターンが変化する場合、旧モデルで蓄積された信頼エビデンスは移行できず、モデル変更のたびに最大監視状態に戻る。モデルプロバイダーの集中リスクがこの問題を悪化させる。
- 評価には一貫性が必要：方法論が実行中のモデルにのみ依存している場合、すべての評価（アブレーション研究、ベンチマークスイート、品質指標）はシステム固有ではなくモデル固有になり、モデル変更のたびに最初から再評価が必要になる。
- コンプライアンスには説明可能性が必要：規制当局が「エージェントはどのように調査をエスカレーションするか」と質問した場合、答えは文書化されたプロセスに基づいている必要がある。答えが「モデルプロバイダーに聞いてください」では、管理を実証できない。
この問題を解決するために、記事は4層分離アーキテクチャを提案している。
- スキル層：エージェントが何をできるかを定義する。トリアージ、エンリッチメント、フォレンジック、検出エンジニアリングなど、各コンポーザブルユニットがエージェントの能力を定義する。
- 推論層：エージェントがどのように考えるかを定義する。調査方法論、エスカレーションロジック、証拠評価基準、仮説生成パターンを含む。この層は明示的でテスト可能であり、実行するモデルから独立している。トリアージ判断が定義された方法論に従う場合、その方法論はバージョン管理され、ベンチマークスイートに対してテストされ、他の重要な変更と同じガバナンスフレームワークを通じて更新できる。
- モデル層：LLMはそれぞれ固有の推論パターンを持ち、Claude、Gemini、GPT、オープンソースモデルなど、トレーニング方法やベンダーのガードレールによって結果が異なる。
- コンテキスト層：調査の深さは、プラットフォームが環境コンテキストをエージェントソリューションに取り込む能力によって決まる。すべてのエージェントの判断、その根拠となった証拠、および正誤の明確な記録が、継続的な測定とベンチマーキングを可能にする。
この分離は3つの問題に直接対処する。
信頼エビデンスは推論方法論に紐づき、モデルから切り離される。モデルを交換しても、方法論が変わらなければ信頼も移転する。新しいモデルが同じ推論パターンを正しく実行することを検証し、パフォーマンスを確認すればよい。
ベンチマークスイートは推論方法論をテストするが、モデル変更には的を絞ったチェックが必要であり、評価は運用に組み込まれた定数でなければならない（例：新しいモデルは方法論を同じ基準で実行するか？）。
規制当局がエージェントのエスカレーション判断方法を尋ねた場合、バージョン管理され、文書化され、テスト可能な推論層を指し示すことができる。モデルリスクについて尋ねられた場合、モデルが交換可能なインフラである分離層を指し示す。集中リスクについて尋ねられた場合、推論パターンがプロバイダー間で移植可能であることを示す。
段階的信頼（プログレッシブトラスト）の考え方は、最初は最大監視から始め、エージェントの推奨が確かなものであるという証拠が蓄積されるにつれて、徐々に監視を緩めることである。数百回承認され、すべての推奨がインシデント後のレビューで正当化されたエージェントは、先週導入されたばかりのエージェントとは異なる品質の監視を得る権利がある。これは、4層分離が信頼をモデルから切り離すことで可能になる。エビデンスは推論方法論に付随するため、モデル変更後も持続し、更新のたびにリセットされることなく時間とともに蓄積される。
逆も同様に重要である。モデルドリフト、データ分布の変化、または新しい攻撃パターンによりエージェントのパフォーマンスが低下した場合、それを表面化する指標が必要である。劣化が観察された場合の対応は、アクションをより高い承認要件に戻し、自動承認のしきい値を引き下げ、証拠要件を追加することで、監視を強化することである。数ヶ月かけて獲得した信頼は、データがそれを正当化するならば、数秒で取り消すことができる。
しかし、信頼を測定するには、エージェントが何をしたかだけでなく、どのように推論したかを観察する能力が必要である。
Huntressの主任セキュリティ研究者Matt Kielyは、段階的信頼には証拠が必要であり、その証拠は4つの次元にわたる継続的評価から得られると主張している。
- 分類精度：エージェントは正しい答えを導き出したか？これは適合率（陽性分類のうち正しいものの割合）と再現率（実際の陽性のうち検出したものの割合）で測定される。ただし、この指標だけでは信頼性については何も語らない。幻覚による推論で正しい結論に至ったエージェントは信頼できない。
- 計画品質：エージェントは複数の仮説を検討したか？遠隔地から4分間隔での不審なログインがあった場合、ありえない移動、トークン窃取、VPN使用を考慮したか？それとも最初の仮説に固執したか？
- 検索品質：エージェントは正しい証拠を見つけたか？ナレッジベースに関連する過去のインシデントが含まれているが、エージェントがそれを取得しなかった場合、不完全な情報に基づいて動作していることになる。
- グラウンディング品質：エージェントの推論は見つけた証拠によって裏付けられているか？「このIPはAPT28インフラに関連している」と主張した場合、ナレッジベースエントリに基づいているのか、それとも幻覚によるものか？未サポートの主張率が高いエージェントは、結論がたまたま正しい場合でも危険である。
これらの4つの次元は、段階的信頼に必要な証拠を構成する。分類精度は出力を信頼するかどうかを示し、計画、検索、グラウンディング品質はプロセスを信頼するかどうかを示す。
アブレーションテストにより評価が具体化される。既知の正解を持つベンチマークスイートを構築し、エージェントを実行して完全な軌跡（すべてのツールコール、ナレッジベースクエリ、推論ステップ）を取得し、構成を体系的に変更する。ベースライン（生のテレメトリのみ、ナレッジベースやツールなし）、ナレッジベースなし、調査ツールなし、フルエージェントなどを比較し、どのコンポーネントが実際に品質に貢献しているかを明らかにする。
AIエージェントがセキュリティ運用で実稼働するようになると、エージェントがセキュリティインシデントを監視・対応するだけでなく、エージェントベースの判断を監視・対応する能力も必要になる。従来、セキュリティ専門家は「何が起こったか」に焦点を当ててきたが、今度は「なぜ実行されたか」に切り替える必要がある。エージェントはどの証拠を考慮したか？どの仮説を探索し、破棄したか？どの推論がアクションにつながったか？無関係なイベント間の関連を幻覚していないか？重要な調査ステップをスキップしていないか？信頼度スコアは実際のシグナルを反映しているか？
このセマンティックギャップはテレメトリとその評価である。例えば、Uberはエステート全体のエージェント行動を評価するシステムを構築しており、継続的な観察と測定を通じてガバナンスシステムが効果的に機能することを保証している。結論として、AIセキュリティエージェントの未来は能力の向上ではなく、信頼をエンジニアリングの一部とする、ガバナンス可能で説明可能、監査可能なアーキテクチャを構築することにある。