来自 arXiv 的最新论文《GPTNT:在多模态智能体于《继续说,没人爆炸》中的实时协作基准测试》提出了一个新的评测框架,用于衡量多模态模型在真实时间压力下协同完成复杂任务的能力。该论文由 Amit Parekh 等共六位作者完成,于 2026 年 6 月 26 日提交至 arXiv,编号为 2606.28514v1,归属人工智能(cs.AI)与计算语言学(cs.CL)两个分类。
研究团队指出,如今多模态模型越来越多地被部署去与人类或其他人工代理协作解决任务。已有的基准测试表明,这些模型已经具备许多必要的分项能力,但在真实协作中同时出现的条件——时间压力、信息不对称以及不完美的沟通——通常是被分开单独研究的。换句话说,现有评测很少考察这些因素叠加在一起时模型的表现,而现实世界的协作恰恰是这种情况。
GPTNT 正是为填补这一空白而设计。它建立在合作类电子游戏《继续说,没人爆炸》(Keep Talking and Nobody Explodes)之上。在游戏中,两名代理必须相互配合,在实时倒计时结束前拆除程序化生成的炸弹谜题。其中一名代理能够看到并操作炸弹,但没有拆弹说明书;另一名代理持有说明书,却看不到也碰不到炸弹。任何一方都无法独自完成任务,成功的前提是高效且有效的沟通。与回合制的替代方案不同,GPTNT 要求代理异步行动并实时交流,这更贴近真实协作场景。
该基准的一个关键设计目标是区分真正的协作能力与对记忆答案的依赖。研究团队可以通过在测试中撤去说明书、撤去搭档,或两者同时撤去,来单独考察模型在当下现场推导出的内容与它已经掌握的知识之间的差别。这种受控设计使评测能够更精确地定位模型的薄弱环节。
实验结果相当严峻。研究团队写道,GPTNT 对当前最先进的系统构成了重大挑战:在他们测试的所有闭源和开源模型中,没有一个能在实时条件下成功拆除哪怕一枚炸弹,而人类玩家是可以达到这一标准的。通过一系列受控实验,研究者识别出几个关键弱点,包括状态追踪、时间压力下的高效行动、歧义处理以及错误恢复能力。
论文还强调了 GPTNT 的可持续性。由于它运行在真实游戏之上,基准能够受益于程序化生成的多样性,并继承一个活跃的模组社区,因此随着模型能力的提升,基准本身可以不断演化,而不是一旦被解决就被束之高阁、随即退役。研究团队将 GPTNT 作为一个衡量协作表现的基准发布,指向当前评测体系尚未覆盖的维度。论文还提供了项目网站和代码链接,方便社区复现与扩展。
综合来看,GPTNT 的意义在于把多模态智能体评测从静态、单轮的问答式任务,推进到动态、实时、强依赖协作的连续任务。它揭示了当前模型在时间约束与信息不对称条件下协同工作的明显不足,也为后续研究提供了一个可随模型进步而持续升级的评测平台。