AI殺傷鏈剖析 – Airwars X AI Now Institute

人工智慧戰爭被廣泛討論，但往往鮮為人知。軍事AI並非單一的總體計劃，而是由重疊的機器學習演算法組成，快速自動化以前由人類執行的任務。相應地，人類監督和問責制正在逐漸消失。

這個故事描繪了一個虛構且簡化的AI輔助攻擊過程。為了揭開軍事AI的神秘面紗，我們構建了一個反映AI瞄準週期的抽象殺傷鏈。我們的模式沒有複製特定國家使用的正式殺傷鏈框架，而是透過六個階段說明了涉及AI系統的戰術活動和決策：1 感測器和資料，2 監視，3 情報和識別，4 選擇，5 打擊，6 打擊後評估。

在整個過程中，技術直譯器剖析了AI技術、它們的侷限性，以及它們被快速採納如何導致致命錯誤的風險。雖然故事是虛構的，但技術並非如此。這裡描述的AI正被當今的先進軍隊使用，包括在烏克蘭、加沙和伊朗。

故事始於資料。世界比以往任何時候都更加數字化。我們攜帶的手機、駕駛的汽車和通訊平臺都產生了大量資訊。在衝突地區，敵對軍隊捕獲、記錄和追蹤一切可能的資訊。人類分析師無法以軍隊要求的速度處理這一資料海嘯，這推動了對AI的日益依賴。但這種更快做出更多決策的匆忙行為可能導致致命錯誤。

在我們的故事中，兩個鄰國正在交戰。一支先進軍隊正在監視對方領土上的一個城鎮，對方軍隊曾從這裡發動攻擊。士兵們依賴決策支援系統（DSS）來監控區域、輔助軍事決策和協調行動。資料收集和分析對DSS中使用的AI至關重要。然而，有缺陷的感測器輸出和嘈雜或錯誤標記的資料會影響這些系統的可靠性和準確性。

軍隊的AI演算法持續掃描衛星影像以發現異常，或可能表明敵方軍隊動員或武器製造的變化。在過去一個月中，演算法標記了十二個異常活動地點，被指定為潛在目標。其中一個地點是廢棄的社群中心，檢測到無標記卡車進出。

為了監控社群中心，軍隊對該區域進行了地理圍欄，意味著任何進入該地點的人都透過手機被追蹤。每天有數十次訪問，每次都被機器學習演算法記錄和監控。一個警報出現：一張手機SIM卡進入了地理圍欄區域。值班分析師開始執行進一步監視。不久後，手機傳送了一條簡訊。訊息被自動攔截並翻譯。分析師想要核實翻譯，但看不到原文。值班翻譯不在，他們只能相信自動翻譯。

“即將發射”一詞觸發了應急協議。操作員想確定SIM卡的註冊人。基於電信註冊資料，AI啟用的DSS將手機匹配到一個名叫克里斯托的30歲男性。操作員現在必須確認克里斯托構成緊迫威脅。軍隊依賴社會評分系統來梳理從居民被動收集的資料：通話記錄、社交媒體連線、來自Telegram等開放平臺的資訊以及面部識別攝像頭的資料。操作員使用演算法自動為居民分配1到10的風險評分，判斷他們屬於敵方軍隊的‘可能性’。克里斯托得分為7。系統將評分7及以上的檔案分類為敵方軍隊成員。操作員需要審查支援證據以決定是否確認或拒絕演算法評級。

由於威脅被視為緊迫，分析師只有三分鐘時間審查證據並傳遞決定。時間限制使得徹底審查每項支援證據變得困難，並增加了自動化偏見的風險——分析師在沒有批判性審視的情況下服從AI生成的輸出。

克里斯托的風險評分因素之一是他的社交媒體連線和活動。在過去的三個月裡，他在Telegram上分享的兩個帖子被分類為對他所在國家軍隊的所謂“同情”，而兩個Facebook帖子被分類為可能“認可敵方軍隊的行為”。一些確認的敵方軍隊人員點讚了後者。分析師滾動瀏覽自動翻譯的標題和說明——這些帖子似乎是支援敵方軍隊的表現。在分配的時間內，分析師幾乎不可能核實翻譯和帖子本身的真實性。底層的LLM容易產生‘幻覺’。

連結分析顯示，克里斯托20%的Instagram粉絲和30%的Facebook聯絡人是敵方軍隊成員。在過去兩週內，他的電信運營商記錄了六次打給敵方軍隊成員的電話。軍隊使用連結分析來建立一個人的社交網路並識別戰鬥人員。然而，用於檢測敵方部隊成員的機器學習演算法（如隨機森林）可能產生假陽性，從其訓練資料中得出錯誤結論。

軍隊已入侵城市中的閉路電視攝像頭。克里斯托在最近幾周被追蹤到三次接近一個主要的敵方軍事基地。一些計算機視覺系統透過跟蹤人的面部、步態或跨影片流的運動來識別和跟蹤個人。這些系統可能因為人們遵循相似路線或與目標分類相似而誤將個人識別為戰鬥人員。

鑑於時間有限，操作員跳過了剩餘證據，確認了社會評分系統的建議——克里斯托似乎是敵方軍隊的活躍成員，從事威脅活動，因此是一個有效目標。系統生成情報報告供部隊指揮。由於行動緊迫，指揮迅速簽字批准，並派遣了一架監視無人機。

無人機的計算機視覺識別出一輛卡車到達廢棄的社群中心。不久後，另外兩輛卡車到達。四個人開始裝載車輛，物體識別軟體將其識別為大箱子或板條箱。根據大小和步態，軟體還將這些人物分類為軍齡男性。基於手頭資訊，分析師得出結論，這些物資很可能與最近的攻擊有關。在車隊離開前，緊急建議進行打擊。目標識別系統使用CNN解釋和識別衛星、雷達影像和無人機鏡頭中的物體。儘管軍隊廣泛部署，CNN在訓練資料之外的背景、光照和角度下識別物體時遇到困難。

系統將現場所有人識別為可能從事軍事活動的成年男性，推薦他們為戰鬥人員，並未檢測到平民。操作員繼續發起攻擊。軍隊通常使用演算法評估電信訊號以估計打擊前區域內的平民數量。然而，移動地理定位的固有誤差、網路中斷和通訊稀缺使得這些標記過於有缺陷而不可靠。

DSS提出了三種潛在武器系統。由於該建築周圍區域受到射頻和GPS訊號干擾，建議使用從附近邊境發射的一系列單向攻擊無人機作為“最佳匹配”。LLM綜合目標、軍隊可用彈藥和可接受的平民傷亡資訊來推薦打擊彈藥。然而，LLM的低準確率和誤解資料的傾向必然會產生錯誤輸出。

基於手頭資訊，指揮官在法律和政治顧問的支援下批准了打擊。無人機配備自主飛行能力和物體識別。操作員為彈藥程式設計，使其導航到建築並在檢測到結構後打擊。當進入訊號干擾區域時，操作員失去聯絡——彈藥進入自主制導模式。第一架無人機檢測到建築並向下俯衝。

分析師後來收到了由AI輔助的‘戰鬥損害評估’（BDA）系統生成的打擊評估報告。報告得出結論，打擊擊中了目標建築，至少三名成年人死亡。自動化BDA系統在打擊後綜合衛星影像、無人機鏡頭和電信資料來總結行動。殺傷鏈早期的技術錯誤和瞄準中的錯誤假設可能導致錯誤分析。

報告將行動記錄為成功，無需進一步行動。但社交媒體很快表明情況並非如此。打擊後一天，一家主要國際報紙報道有九人喪生，包括建築內的兩名女性和一名兒童。記者發現克里斯托是一名教師，曾幫助建立針對戰爭流離失所平民的援助系統。那天他本應啟動一個新的食品分發點。箱子裝滿大米、義大利麵和罐裝蔬菜，卡車上的男男女女是志願援助工作者。

經過幾天的壓力，軍隊命令進行內部調查。調查發現AI輔助殺傷鏈中一系列級聯錯誤。從將建築錯誤分類為武器設施，到誤將克里斯托識別為戰鬥人員，再到未能注意到現場額外平民，一系列技術失誤導致了無辜者的死亡。調查中沒有任何一個環節的人類操作員對AI系統提出了質疑。