AIキルチェーンの解剖 – Airwars X AI Now Institute
架空のストーリーが、軍事目標設定におけるAIシステムが致命的なエラーに連鎖し、民間人を戦闘員と誤認し、非戦闘員の検出に失敗して悲劇的な民間人死傷者を引き起こす様子を明らかにする。記事はAIキルチェーンの6つの段階を分析し、技術とその限界を説明する。
AI戦争は広く議論されているが、しばしばほとんど理解されていない。軍用AIは単一の包括的なプログラムではなく、人間が以前行っていたタスクを急速に自動化する重複する機械学習アルゴリズムで構成されている。その結果、人間の監視と説明責任は着実に消失している。
このストーリーは、AI支援攻撃の架空かつ簡略化された説明を描いている。軍事AIを解明するために、我々はAI目標設定サイクルを反映した抽象的なキルチェーンを構築する。特定の国が使用する正式なキルチェーンフレームワークをコピーする代わりに、我々のスキーマは6つの段階（1 センサーとデータ、2 監視、3 情報と識別、4 選択、5 攻撃、6 攻撃後評価）を通じてAIシステムの使用を含む戦術的活動と決定を説明する。
全体を通じて、テクノロジー解説者がAI技術、その限界、そしてその急激な採用が致命的なエラーのリスクをどのようにもたらすかを分析する。ストーリーは架空だが、技術はそうではない。ここで説明されているAIは、ウクライナ、ガザ、イランを含む高度な軍隊によって今日使用されている。
それはデータから始まる。世界はかつてないほどデジタル化されている。我々が持ち運ぶ電話、運転する車、通信するプラットフォームはすべて大量の情報を生み出す。紛争地域では、敵対する軍隊が可能な限りすべてを捕捉、記録、追跡する。人間のアナリストは軍隊が要求する速度でこのデータの津波を処理できず、AIへの依存が高まっている。しかし、これまで以上に迅速に多くの決定を下すこの急ぎは、致命的なミスのリスクをもたらす。
我々のストーリーでは、2つの隣国が戦争をしている。高度な軍隊が相手領土の町を監視しており、そこから敵軍が攻撃を開始している。兵士たちは画面上の意思決定支援システム（DSS）に依存して地域を監視し、軍事的意思決定を支援し、作戦を調整する。データ収集と分析は、DSS内でよく使用されるAIにとって重要である。しかし、欠陥のあるセンサー出力やノイズの多い、または誤ったラベルのデータは、これらのシステムの信頼性と精度に影響を与える可能性がある。
軍隊のAIアルゴリズムは、衛星画像を継続的にスキャンして異常、または敵軍の動員や兵器製造を示す変化を検出する。過去1ヶ月で、アルゴリズムは12の異常活動サイトをフラグ付けし、潜在的な目標として指定した。そのうちの1つは、使われていないコミュニティセンターで、無印のトラックが出入りしているのが検出された。
コミュニティセンターを監視するために、軍隊はそのエリアをジオフェンスし、サイトに入る誰もが電話で追跡される。毎日数十回の訪問があり、それぞれが機械学習アルゴリズムによって記録され監視される。アラートが表示される。携帯電話のSIMがジオフェンスエリアに入った。当直のアナリストがさらなる監視を開始する。
すぐに電話がテキストを送信する。メッセージは自動的に傍受され翻訳される。アナリストは翻訳を確認したいが、原文を見ることができない。当直の翻訳者は不在であり、自動翻訳を信頼するしかない。
「まもなく発射」という翻訳が緊急プロトコルをトリガーする。オペレーターはSIMカードの登録者を特定したい。電気通信登録データに基づき、AI対応DSSは電話をクリストという30歳の男性に一致させる。オペレーターは今、クリストが差し迫った脅威であることを確認しなければならない。
軍隊はソーシャルスコアリングシステムに依存して、住民から受動的に収集したデータ（通話記録、ソーシャルメディアのつながり、Telegramのようなオープンプラットフォームからの情報、顔認識カメラからのデータ）をふるいにかける。オペレーターはアルゴリズムを使用して、住民に1から10のリスクスコアを自動的に割り当て、敵軍に属する「可能性」を判断する。クリストは7点を獲得する。システムは評価が7以上のプロファイルを敵軍のメンバーとして分類する。オペレーターは裏付け証拠をレビューして、アルゴリズムの評価を確認するか却下するかを決定する必要がある。
脅威は差し迫っていると見なされるため、アナリストは証拠をレビューして決定を伝えるのにわずか3分しかない。時間的制約により、各裏付け証拠を徹底的に精査することが困難になり、自動化バイアスのリスクが高まる。
クリストのリスクスコアの要因の1つは、ソーシャルメディアでのつながりと活動である。過去3ヶ月間に、彼がTelegramで共有した2つの投稿は自国の軍隊に「同情的」と分類され、2つのFacebook投稿は敵軍の「行動を支持する」可能性があると分類された。確認された敵軍関係者の数人が後者を「いいね」していた。アナリストは自動翻訳されたタイトルとキャプションをスクロールするが、投稿は敵軍への支持を示しているように見える。割り当てられた時間内では、アナリストが翻訳と投稿自体の信憑性を検証することはほとんど不可能である。基礎となるLLMは「幻覚」を生み出す傾向がある。
リンク分析は、クリストのInstagramフォロワーの約20％、Facebookの友人の30％が敵軍のメンバーであることを示す。過去2週間で、彼の電気通信事業者は敵軍メンバーへの6件の発信を記録した。軍隊はリンク分析を使用して個人のソーシャルネットワークを確立し、戦闘員を特定する。しかし、敵軍メンバーを検出するために訓練された機械学習アルゴリズム（ランダムフォレストなど）は、訓練データから誤った結論を導き出す偽陽性を生成する可能性がある。
軍隊は市内のCCTVカメラにハッキングしている。クリストはここ数週間、主要な敵軍基地の近くを3回移動しているのが追跡された。一部のコンピュータビジョンシステムは、顔、歩行、またはビデオストリーム全体の動きを追跡することで個人を識別し追跡する。これらのシステムは、類似のルートをたどるか、標的として分類された人々に似ているために、個人を戦闘員と誤認する可能性がある。
限られた時間のため、オペレーターは残りの証拠をスキップし、ソーシャルスコアリングシステムの提案を確認する——クリストは敵軍の活動メンバーであり、脅威活動に従事しているため、有効な標的である。システムは部隊指揮用の情報報告書を生成する。作戦は緊急であるため、指揮官は迅速に承認し、監視用ドローンを派遣する。
ドローンのコンピュータビジョンが廃コミュニティセンターにトラックが到着するのを識別する。すぐにさらに2台のトラックが到着する。4人が車両に積み込みを開始し、物体認識ソフトウェアはそれを大きな箱または木箱と識別する。大きさと歩行から、ソフトウェアはこれらの人物を軍齢男性として分類する。手元の情報に基づき、アナリストは物資が最近の攻撃に関連している可能性が高いと結論付ける。車列がサイトを離れる前に攻撃が緊急に推奨される。目標認識システムはCNNを使用して衛星画像、レーダー画像、ドローンフィード内の物体を解釈し識別する。軍隊によって広く配備されているが、CNNは訓練データとは異なる状況、照明、角度での物体識別に苦労する。
システムは現場の全員を軍事活動に従事している可能性のある成人男性として識別し、戦闘員として推奨し、民間人を検出しない。オペレーターは攻撃の開始を進める。軍隊は攻撃前のエリア内の民間人数を推定するために電気通信信号を評価するアルゴリズムをよく使用する。しかし、モバイル位置情報の固有的な不正確さ、ネットワーク障害、通信不足により、これらのマーカーは信頼するには欠陥がありすぎる。
DSSは3つの潜在的な兵器システムを提案する。建物周辺のエリアでは無線周波数とGPS信号の妨害が発生しているため、近くの国境から発射される一連の一方向攻撃ドローンが「最適な一致」として推奨される。LLMは目標、軍隊の利用可能な弾薬、許容される民間人死傷者に関する情報を統合して、攻撃用の弾薬を推奨する。しかし、LLMの低い正確率とデータを誤解する傾向は、誤った出力を生み出すことは必至である。
手元の情報に基づき、指揮官は法律および政治顧問の支援を得て攻撃を承認する。ドローンは自律飛行能力と物体認識を備えて派遣される。オペレーターは弾薬をプログラムし、建物に誘導して構造物を検出したら攻撃するようにする。信号妨害エリアに入ると、オペレーターは連絡を失う——弾薬は自律誘導モードに入る。最初のドローンが建物を検出し、急降下する。
アナリストは後に、AI支援の「戦闘被害評価」（BDA）システムによって生成された攻撃評価報告書を受け取る。報告書は攻撃が目標建物に命中し、少なくとも3人の成人が死亡したと結論付ける。自動化BDAシステムは、攻撃後に衛星画像、ドローンフィード、電気通信データからの情報を統合して作戦を要約する。キルチェーンの初期の技術的エラーと目標設定における誤った仮定は、誤った分析につながる可能性がある。
報告書は作戦を成功と記録し、さらなる行動は不要とする。しかし、すぐにソーシャルメディアアカウントが別のことを示唆する。攻撃の翌日、主要な国際新聞が、建物内の2人の女性と1人の子供を含む9人が死亡したと報じる。記者はクリストが戦争で避難した民間人のための支援システムを確立するのを助けた学校教師であったことを発見する。その日、彼は避難家族のための新しい食料配布所を立ち上げる予定だった。箱は米、パスタ、缶詰野菜で満たされており、トラックの人々はボランティアの援助従事者だった。
数日間の圧力の後、軍隊は内部調査を命じる。調査はAI支援キルチェーンを通じた一連の連鎖的エラーを発見する。建物の兵器施設への誤分類から、クリストの戦闘員としての誤認、サイトの追加民間人の見落としまで、一連の技術的過失が無実の者の死をもたらした。調査では、どの時点でも人間のオペレーターがAIシステムに疑問を呈することはなかった。