AI News HubLIVE
站内改写2 分钟阅读

人工智能能否进行情报分析?显然不能

作者尝试构建一个由多个AI代理组成的情报分析团队,以自动化应用结构化分析技术(SAT),但最终发现无法实现。测试表明,AI代理在处理中国对台网络行动等实际问题时,存在提问冗余、收集计划偏差、分析循环无效等问题。结论是,当前AI无法取代人类进行严谨的情报分析。

来源Hacker News AI作者: beatrobot

结构化分析技术(SAT)是情报分析中用于减少认知捷径和偏见的一套方法。在进行归因分析、地缘政治网络威胁情报或预测时,应用这些技术对于准确分析至关重要。然而,众所周知,应用这些技术需要接受过SAT训练的人员以团队形式进行。这意味着以这种方式进行分析需要很长时间且成本高昂。在私营部门,很少有时间投入这种结构化分析。

为了解决这个问题,作者思考:能否构建一个由AI代理组成的分析团队?如果可行,就可以自动化应用这些耗时且成本高昂的结构化技术,快速产生分析。本文记录了作者所走的路径、所做的尝试以及为何最终失败的原因。

作者设计了一个包含六个专门代理的流水线,每个代理在情报周期中扮演不同角色,从输入到最终报告。第一个是利益相关者访谈者,负责与客户对话,以非结构化的对话形式捕获情报需求,并提炼出主要情报问题和子问题。第二个是收集计划者,访问经过整理的可信信息来源数据库,为子问题匹配最佳来源,并避免过度依赖单一来源。第三个是情报收集者,执行收集计划,检索相关信息,但不解释或总结,只提供原始材料。第四是分析协调者,根据情报问题和收集到的材料决定采用哪些分析技术。第五是分析代理层,执行实际的结构化分析,包括情景生成、反驳、证据加权、假设检查等步骤。第六是报告生成者,将分析输出转化为利益相关者可以采取行动的报告,遵循“结论先行”原则。

分析层设计了一个结构化推理循环:先生成广泛的情景列表,然后进行首轮反驳,剔除现有证据直接矛盾的情景;识别收集差距,向收集计划者发送新的情报要求;第二轮反驳后,进行竞争假设分析(ACH),评估每个情景的证据支持程度;接着进行证据加权,使用收集时分配的信任度评分;然后检查关键假设,识别可能使情景崩溃的假设;最后选择2-3个非重叠的替代情景,并通过魔鬼代言人进行压力测试,最终做出评估。

作者以“如果中国对台湾采取行动,我们应该预期哪些网络行动?针对谁?目标是什么?”为测试问题。访谈阶段表现良好,但日志显示子问题冗余且重叠,更重要的是,所有问题都是预期性的(例如“中国可能做什么”),而收集环节只能获取事实性信息,无法回答预期性问题。收集计划虽然引用了RAND、新华社、RUSI、CISA等可靠来源,但指令过于宽泛,例如“收集中国在网络行动方面的战略分析”,没有指导收集具体事实。分析层试图运行结构化推理循环,但由于前期收集计划未提供适当数据,循环未能有效运行。

最终,系统无法产出比盲目猜测更可靠的分析。作者总结道,AI在情报收集和即时摘要方面有潜力,但当前的大语言模型无法替代结构化分析所需的严谨推理和多回合对话。真正的分析需要人类判断、团队协作、填补证据空白,并对替代假设进行系统测试——这些能力AI尚未具备。