AI杀伤链剖析 – Airwars X AI Now Institute

人工智能战争被广泛讨论，但往往鲜为人知。军事AI并非单一的总体计划，而是由重叠的机器学习算法组成，快速自动化以前由人类执行的任务。相应地，人类监督和问责制正在逐渐消失。

这个故事描绘了一个虚构且简化的AI辅助攻击过程。为了揭开军事AI的神秘面纱，我们构建了一个反映AI瞄准周期的抽象杀伤链。我们的模式没有复制特定国家使用的正式杀伤链框架，而是通过六个阶段说明了涉及AI系统的战术活动和决策：1 传感器和数据，2 监视，3 情报和识别，4 选择，5 打击，6 打击后评估。

在整个过程中，技术解释器剖析了AI技术、它们的局限性，以及它们被快速采纳如何导致致命错误的风险。虽然故事是虚构的，但技术并非如此。这里描述的AI正被当今的先进军队使用，包括在乌克兰、加沙和伊朗。

故事始于数据。世界比以往任何时候都更加数字化。我们携带的手机、驾驶的汽车和通信平台都产生了大量信息。在冲突地区，敌对军队捕获、记录和追踪一切可能的信息。人类分析师无法以军队要求的速度处理这一数据海啸，这推动了对AI的日益依赖。但这种更快做出更多决策的匆忙行为可能导致致命错误。

在我们的故事中，两个邻国正在交战。一支先进军队正在监视对方领土上的一个城镇，对方军队曾从这里发动攻击。士兵们依赖决策支持系统（DSS）来监控区域、辅助军事决策和协调行动。数据收集和分析对DSS中使用的AI至关重要。然而，有缺陷的传感器输出和嘈杂或错误标记的数据会影响这些系统的可靠性和准确性。

军队的AI算法持续扫描卫星图像以发现异常，或可能表明敌方军队动员或武器制造的变化。在过去一个月中，算法标记了十二个异常活动地点，被指定为潜在目标。其中一个地点是废弃的社区中心，检测到无标记卡车进出。

为了监控社区中心，军队对该区域进行了地理围栏，意味着任何进入该地点的人都通过手机被追踪。每天有数十次访问，每次都被机器学习算法记录和监控。一个警报出现：一张手机SIM卡进入了地理围栏区域。值班分析师开始执行进一步监视。不久后，手机发送了一条短信。消息被自动拦截并翻译。分析师想要核实翻译，但看不到原文。值班翻译不在，他们只能相信自动翻译。

“即将发射”一词触发了应急协议。操作员想确定SIM卡的注册人。基于电信注册数据，AI启用的DSS将手机匹配到一个名叫克里斯托的30岁男性。操作员现在必须确认克里斯托构成紧迫威胁。军队依赖社会评分系统来梳理从居民被动收集的数据：通话记录、社交媒体连接、来自Telegram等开放平台的信息以及面部识别摄像头的数据。操作员使用算法自动为居民分配1到10的风险评分，判断他们属于敌方军队的‘可能性’。克里斯托得分为7。系统将评分7及以上的档案分类为敌方军队成员。操作员需要审查支持证据以决定是否确认或拒绝算法评级。

由于威胁被视为紧迫，分析师只有三分钟时间审查证据并传递决定。时间限制使得彻底审查每项支持证据变得困难，并增加了自动化偏见的风险——分析师在没有批判性审视的情况下服从AI生成的输出。

克里斯托的风险评分因素之一是他的社交媒体连接和活动。在过去的三个月里，他在Telegram上分享的两个帖子被分类为对他所在国家军队的所谓“同情”，而两个Facebook帖子被分类为可能“认可敌方军队的行为”。一些确认的敌方军队人员点赞了后者。分析师滚动浏览自动翻译的标题和说明——这些帖子似乎是支持敌方军队的表现。在分配的时间内，分析师几乎不可能核实翻译和帖子本身的真实性。底层的LLM容易产生‘幻觉’。

链接分析显示，克里斯托20%的Instagram粉丝和30%的Facebook联系人是敌方军队成员。在过去两周内，他的电信运营商记录了六次打给敌方军队成员的电话。军队使用链接分析来建立一个人的社交网络并识别战斗人员。然而，用于检测敌方部队成员的机器学习算法（如随机森林）可能产生假阳性，从其训练数据中得出错误结论。

军队已入侵城市中的闭路电视摄像头。克里斯托在最近几周被追踪到三次接近一个主要的敌方军事基地。一些计算机视觉系统通过跟踪人的面部、步态或跨视频流的运动来识别和跟踪个人。这些系统可能因为人们遵循相似路线或与目标分类相似而误将个人识别为战斗人员。

鉴于时间有限，操作员跳过了剩余证据，确认了社会评分系统的建议——克里斯托似乎是敌方军队的活跃成员，从事威胁活动，因此是一个有效目标。系统生成情报报告供部队指挥。由于行动紧迫，指挥迅速签字批准，并派遣了一架监视无人机。

无人机的计算机视觉识别出一辆卡车到达废弃的社区中心。不久后，另外两辆卡车到达。四个人开始装载车辆，物体识别软件将其识别为大箱子或板条箱。根据大小和步态，软件还将这些人物分类为军龄男性。基于手头信息，分析师得出结论，这些物资很可能与最近的攻击有关。在车队离开前，紧急建议进行打击。目标识别系统使用CNN解释和识别卫星、雷达图像和无人机镜头中的物体。尽管军队广泛部署，CNN在训练数据之外的背景、光照和角度下识别物体时遇到困难。

系统将现场所有人识别为可能从事军事活动的成年男性，推荐他们为战斗人员，并未检测到平民。操作员继续发起攻击。军队通常使用算法评估电信信号以估计打击前区域内的平民数量。然而，移动地理定位的固有误差、网络中断和通信稀缺使得这些标记过于有缺陷而不可靠。

DSS提出了三种潜在武器系统。由于该建筑周围区域受到射频和GPS信号干扰，建议使用从附近边境发射的一系列单向攻击无人机作为“最佳匹配”。LLM综合目标、军队可用弹药和可接受的平民伤亡信息来推荐打击弹药。然而，LLM的低准确率和误解数据的倾向必然会产生错误输出。

基于手头信息，指挥官在法律和政治顾问的支持下批准了打击。无人机配备自主飞行能力和物体识别。操作员为弹药编程，使其导航到建筑并在检测到结构后打击。当进入信号干扰区域时，操作员失去联系——弹药进入自主制导模式。第一架无人机检测到建筑并向下俯冲。

分析师后来收到了由AI辅助的‘战斗损害评估’（BDA）系统生成的打击评估报告。报告得出结论，打击击中了目标建筑，至少三名成年人死亡。自动化BDA系统在打击后综合卫星图像、无人机镜头和电信数据来总结行动。杀伤链早期的技术错误和瞄准中的错误假设可能导致错误分析。

报告将行动记录为成功，无需进一步行动。但社交媒体很快表明情况并非如此。打击后一天，一家主要国际报纸报道有九人丧生，包括建筑内的两名女性和一名儿童。记者发现克里斯托是一名教师，曾帮助建立针对战争流离失所平民的援助系统。那天他本应启动一个新的食品分发点。箱子装满大米、意大利面和罐装蔬菜，卡车上的男男女女是志愿援助工作者。

经过几天的压力，军队命令进行内部调查。调查发现AI辅助杀伤链中一系列级联错误。从将建筑错误分类为武器设施，到误将克里斯托识别为战斗人员，再到未能注意到现场额外平民，一系列技术失误导致了无辜者的死亡。调查中没有任何一个环节的人类操作员对AI系统提出了质疑。