AIはインテリジェンス分析を行えるか？明らかにできない

構造化分析技法（SAT）は、インテリジェンス分析において認知の近道やバイアスを最小化するための一連の手法です。帰属分析、地政学的サイバー脅威インテリジェンス、予測などのケースでは、正確な分析のためにこれらの適用が必須です。しかし、これらの技法を適用するには、SATの訓練を受けた人々がグループで作業する必要があります。つまり、この方法での分析は非常に時間がかかり、コストが高くなります。民間部門では、この種の構造化分析に十分な時間を割くことはほとんどありません。

この問題を解決するために、著者はAIエージェントからなる分析チームを構築できるかどうかを考えました。もしうまくいけば、これらの時間とコストのかかる構造化技法を自動化し、迅速に分析を生成できるようになります。本稿は、著者がとった道筋、試みたこと、そしてなぜうまくいかなかったのかについての考察です。

著者は、インテリジェンスサイクルにおける各役割を担う専門エージェントのパイプラインを設計しました。入力から最終報告までをカバーする6つのエージェントです。最初は利害関係者インタビュアーで、顧客と対話し、非構造化の会話形式でインテリジェンス要件を取得し、主要なインテリジェンス質問とサブ質問に分解します。2番目は収集プランナーで、信頼できる情報源のキュレーションデータベースにアクセスし、サブ質問に最適な情報源をマッピングし、単一情報源への過度の依存を避けます。3番目はインテリジェンスコレクターで、収集計画を実行し、関連情報を検索しますが、解釈や要約はせず、生の素材を提供します。4番目は分析コーディネーターで、インテリジェンス質問と収集資料に基づき、どの分析技法を適用するかを決定します。5番目は分析エージェント層で、シナリオ生成、反論、証拠の重み付け、仮定のチェックなどからなる構造化推論ループを実行します。6番目はレポーターで、分析出力を利害関係者が行動できる形に変換し、「結論を先に」の原則に従って報告書を構成します。

分析層では、まず広範なシナリオリストを生成し、既存の証拠で直接矛盾するものを排除します。次に、残ったシナリオごとに反証となる証拠や条件を明確にし、収集プランナーに新しいインテリジェンス要件として送り返します。新しい収集が戻ってきたら、再度反論パスを実行します。その後、競合仮説分析（ACH）を実施し、各シナリオを支持する証拠の強さを評価します。証拠の重み付けでは、収集時に割り当てられた信頼度スコアを使用します。さらに、各シナリオの基礎となる仮定を特定し、もしその仮定が間違っていた場合にシナリオが崩壊するかをチェックします。最終的に、2〜3の非重複で相互に代替的なシナリオに収束させ、悪魔の代弁者としてストレステストを実施し、最終評価を行います。

著者は、「中国が台湾に行動を起こした場合、どのようなサイバー作戦が、誰を対象に、どのような目的で予想されるか」という質問でテストしました。インタビューの段階は期待通りでしたが、セッションログを確認すると、生成されたサブ質問が重複しており、さらにすべてが予測的な質問（「中国は何をする可能性があるか」）であり、収集では事実しか得られないため、適切ではありませんでした。収集計画はRAND、新華社、RUSI、CISAなどの信頼できる情報源を参照しましたが、指示が曖昧で、「中国のサイバー作戦に関する戦略的分析を収集せよ」といった内容であり、具体的な観測事実に焦点を当てていませんでした。分析層は構造化推論ループの実行を試みましたが、前期の収集計画が適切なデータを提供しなかったため、効果的に機能しませんでした。

最終的に、システムは盲目的な推測よりも信頼できる分析を生成できませんでした。著者は、AIは情報収集や即時要約には有望ですが、現在の大規模言語モデルは、厳格な分析に必要な厳密な推論や複数ターンの対話を代替できないと結論付けています。真の分析には、人間の判断、チームワーク、証拠ギャップの補完、代替仮説の系統的テストが必要であり、AIはそれらの能力をまだ備えていません。