AI殺傷鏈剖析 – Airwars X AI Now Institute

人工智能戰爭被廣泛討論，但往往鮮為人知。軍事AI並非單一的總體計劃，而是由重疊的機器學習算法組成，快速自動化以前由人類執行的任務。相應地，人類監督和問責制正在逐漸消失。

這個故事描繪了一個虛構且簡化的AI輔助攻擊過程。為了揭開軍事AI的神秘面紗，我們構建了一個反映AI瞄準週期的抽象殺傷鏈。我們的模式沒有複製特定國家使用的正式殺傷鏈框架，而是通過六個階段説明了涉及AI系統的戰術活動和決策：1 傳感器和數據，2 監視，3 情報和識別，4 選擇，5 打擊，6 打擊後評估。

在整個過程中，技術解釋器剖析了AI技術、它們的侷限性，以及它們被快速採納如何導致致命錯誤的風險。雖然故事是虛構的，但技術並非如此。這裏描述的AI正被當今的先進軍隊使用，包括在烏克蘭、加沙和伊朗。

故事始於數據。世界比以往任何時候都更加數字化。我們攜帶的手機、駕駛的汽車和通信平台都產生了大量信息。在衝突地區，敵對軍隊捕獲、記錄和追蹤一切可能的信息。人類分析師無法以軍隊要求的速度處理這一數據海嘯，這推動了對AI的日益依賴。但這種更快做出更多決策的匆忙行為可能導致致命錯誤。

在我們的故事中，兩個鄰國正在交戰。一支先進軍隊正在監視對方領土上的一個城鎮，對方軍隊曾從這裏發動攻擊。士兵們依賴決策支持系統（DSS）來監控區域、輔助軍事決策和協調行動。數據收集和分析對DSS中使用的AI至關重要。然而，有缺陷的傳感器輸出和嘈雜或錯誤標記的數據會影響這些系統的可靠性和準確性。

軍隊的AI算法持續掃描衞星圖像以發現異常，或可能表明敵方軍隊動員或武器製造的變化。在過去一個月中，算法標記了十二個異常活動地點，被指定為潛在目標。其中一個地點是廢棄的社區中心，檢測到無標記卡車進出。

為了監控社區中心，軍隊對該區域進行了地理圍欄，意味着任何進入該地點的人都通過手機被追蹤。每天有數十次訪問，每次都被機器學習算法記錄和監控。一個警報出現：一張手機SIM卡進入了地理圍欄區域。值班分析師開始執行進一步監視。不久後，手機發送了一條短信。消息被自動攔截並翻譯。分析師想要核實翻譯，但看不到原文。值班翻譯不在，他們只能相信自動翻譯。

“即將發射”一詞觸發了應急協議。操作員想確定SIM卡的註冊人。基於電信註冊數據，AI啓用的DSS將手機匹配到一個名叫克里斯托的30歲男性。操作員現在必須確認克里斯托構成緊迫威脅。軍隊依賴社會評分系統來梳理從居民被動收集的數據：通話記錄、社交媒體連接、來自Telegram等開放平台的信息以及面部識別攝像頭的數據。操作員使用算法自動為居民分配1到10的風險評分，判斷他們屬於敵方軍隊的‘可能性’。克里斯托得分為7。系統將評分7及以上的檔案分類為敵方軍隊成員。操作員需要審查支持證據以決定是否確認或拒絕算法評級。

由於威脅被視為緊迫，分析師只有三分鐘時間審查證據並傳遞決定。時間限制使得徹底審查每項支持證據變得困難，並增加了自動化偏見的風險——分析師在沒有批判性審視的情況下服從AI生成的輸出。

克里斯托的風險評分因素之一是他的社交媒體連接和活動。在過去的三個月裏，他在Telegram上分享的兩個帖子被分類為對他所在國家軍隊的所謂“同情”，而兩個Facebook帖子被分類為可能“認可敵方軍隊的行為”。一些確認的敵方軍隊人員點讚了後者。分析師滾動瀏覽自動翻譯的標題和説明——這些帖子似乎是支持敵方軍隊的表現。在分配的時間內，分析師幾乎不可能核實翻譯和帖子本身的真實性。底層的LLM容易產生‘幻覺’。

鏈接分析顯示，克里斯托20%的Instagram粉絲和30%的Facebook聯繫人是敵方軍隊成員。在過去兩週內，他的電信運營商記錄了六次打給敵方軍隊成員的電話。軍隊使用鏈接分析來建立一個人的社交網絡並識別戰鬥人員。然而，用於檢測敵方部隊成員的機器學習算法（如隨機森林）可能產生假陽性，從其訓練數據中得出錯誤結論。

軍隊已入侵城市中的閉路電視攝像頭。克里斯托在最近幾周被追蹤到三次接近一個主要的敵方軍事基地。一些計算機視覺系統通過跟蹤人的面部、步態或跨視頻流的運動來識別和跟蹤個人。這些系統可能因為人們遵循相似路線或與目標分類相似而誤將個人識別為戰鬥人員。

鑑於時間有限，操作員跳過了剩餘證據，確認了社會評分系統的建議——克里斯托似乎是敵方軍隊的活躍成員，從事威脅活動，因此是一個有效目標。系統生成情報報告供部隊指揮。由於行動緊迫，指揮迅速簽字批准，並派遣了一架監視無人機。

無人機的計算機視覺識別出一輛卡車到達廢棄的社區中心。不久後，另外兩輛卡車到達。四個人開始裝載車輛，物體識別軟件將其識別為大箱子或板條箱。根據大小和步態，軟件還將這些人物分類為軍齡男性。基於手頭信息，分析師得出結論，這些物資很可能與最近的攻擊有關。在車隊離開前，緊急建議進行打擊。目標識別系統使用CNN解釋和識別衞星、雷達圖像和無人機鏡頭中的物體。儘管軍隊廣泛部署，CNN在訓練數據之外的背景、光照和角度下識別物體時遇到困難。

系統將現場所有人識別為可能從事軍事活動的成年男性，推薦他們為戰鬥人員，並未檢測到平民。操作員繼續發起攻擊。軍隊通常使用算法評估電信信號以估計打擊前區域內的平民數量。然而，移動地理定位的固有誤差、網絡中斷和通信稀缺使得這些標記過於有缺陷而不可靠。

DSS提出了三種潛在武器系統。由於該建築周圍區域受到射頻和GPS信號干擾，建議使用從附近邊境發射的一系列單向攻擊無人機作為“最佳匹配”。LLM綜合目標、軍隊可用彈藥和可接受的平民傷亡信息來推薦打擊彈藥。然而，LLM的低準確率和誤解數據的傾向必然會產生錯誤輸出。

基於手頭信息，指揮官在法律和政治顧問的支持下批准了打擊。無人機配備自主飛行能力和物體識別。操作員為彈藥編程，使其導航到建築並在檢測到結構後打擊。當進入信號干擾區域時，操作員失去聯繫——彈藥進入自主制導模式。第一架無人機檢測到建築並向下俯衝。

分析師後來收到了由AI輔助的‘戰鬥損害評估’（BDA）系統生成的打擊評估報告。報告得出結論，打擊擊中了目標建築，至少三名成年人死亡。自動化BDA系統在打擊後綜合衞星圖像、無人機鏡頭和電信數據來總結行動。殺傷鏈早期的技術錯誤和瞄準中的錯誤假設可能導致錯誤分析。

報告將行動記錄為成功，無需進一步行動。但社交媒體很快表明情況並非如此。打擊後一天，一家主要國際報紙報道有九人喪生，包括建築內的兩名女性和一名兒童。記者發現克里斯托是一名教師，曾幫助建立針對戰爭流離失所平民的援助系統。那天他本應啓動一個新的食品分發點。箱子裝滿大米、意大利麪和罐裝蔬菜，卡車上的男男女女是志願援助工作者。

經過幾天的壓力，軍隊命令進行內部調查。調查發現AI輔助殺傷鏈中一系列級聯錯誤。從將建築錯誤分類為武器設施，到誤將克里斯托識別為戰鬥人員，再到未能注意到現場額外平民，一系列技術失誤導致了無辜者的死亡。調查中沒有任何一個環節的人類操作員對AI系統提出了質疑。