跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

GPTNT:在《继续说话,没人爆炸》上评测多模态智能体实时协作的基准

文章摘要

研究人员推出 GPTNT 基准,基于合作游戏《继续说话,没人爆炸》,要求两个智能体在倒计时、信息不对称和沟通不畅的条件下实时协作拆除炸弹。测试显示所有闭源和开源模型均无法完成一次拆除,暴露出状态跟踪、时间压力下高效行动、歧义处理和错误恢复等关键弱点。

来源arXiv AI作者: Amit Parekh, Sabrina McCallum, Kareem Al-Hasan, Malvina Nikandrou, Alessandro Suglia, Ioannis Konstas
GPTNT:在《继续说话,没人爆炸》上评测多模态智能体实时协作的基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

来自 arXiv 的最新论文《GPTNT:在多模态智能体于《继续说,没人爆炸》中的实时协作基准测试》提出了一个新的评测框架,用于衡量多模态模型在真实时间压力下协同完成复杂任务的能力。该论文由 Amit Parekh 等共六位作者完成,于 2026 年 6 月 26 日提交至 arXiv,编号为 2606.28514v1,归属人工智能(cs.AI)与计算语言学(cs.CL)两个分类。

研究团队指出,如今多模态模型越来越多地被部署去与人类或其他人工代理协作解决任务。已有的基准测试表明,这些模型已经具备许多必要的分项能力,但在真实协作中同时出现的条件——时间压力、信息不对称以及不完美的沟通——通常是被分开单独研究的。换句话说,现有评测很少考察这些因素叠加在一起时模型的表现,而现实世界的协作恰恰是这种情况。

GPTNT 正是为填补这一空白而设计。它建立在合作类电子游戏《继续说,没人爆炸》(Keep Talking and Nobody Explodes)之上。在游戏中,两名代理必须相互配合,在实时倒计时结束前拆除程序化生成的炸弹谜题。其中一名代理能够看到并操作炸弹,但没有拆弹说明书;另一名代理持有说明书,却看不到也碰不到炸弹。任何一方都无法独自完成任务,成功的前提是高效且有效的沟通。与回合制的替代方案不同,GPTNT 要求代理异步行动并实时交流,这更贴近真实协作场景。

该基准的一个关键设计目标是区分真正的协作能力与对记忆答案的依赖。研究团队可以通过在测试中撤去说明书、撤去搭档,或两者同时撤去,来单独考察模型在当下现场推导出的内容与它已经掌握的知识之间的差别。这种受控设计使评测能够更精确地定位模型的薄弱环节。

实验结果相当严峻。研究团队写道,GPTNT 对当前最先进的系统构成了重大挑战:在他们测试的所有闭源和开源模型中,没有一个能在实时条件下成功拆除哪怕一枚炸弹,而人类玩家是可以达到这一标准的。通过一系列受控实验,研究者识别出几个关键弱点,包括状态追踪、时间压力下的高效行动、歧义处理以及错误恢复能力。

论文还强调了 GPTNT 的可持续性。由于它运行在真实游戏之上,基准能够受益于程序化生成的多样性,并继承一个活跃的模组社区,因此随着模型能力的提升,基准本身可以不断演化,而不是一旦被解决就被束之高阁、随即退役。研究团队将 GPTNT 作为一个衡量协作表现的基准发布,指向当前评测体系尚未覆盖的维度。论文还提供了项目网站和代码链接,方便社区复现与扩展。

综合来看,GPTNT 的意义在于把多模态智能体评测从静态、单轮的问答式任务,推进到动态、实时、强依赖协作的连续任务。它揭示了当前模型在时间约束与信息不对称条件下协同工作的明显不足,也为后续研究提供了一个可随模型进步而持续升级的评测平台。

展开要点与分析

文章情报

工程师进阶

要点

  • GPTNT 基于真实合作游戏,要求两个多模态智能体异步实时协作,一个拆弹一个读手册。
  • 基准设计可分离协作能力与记忆依赖,通过扣留手册或伙伴来评估临场推导能力。
  • 所有测试的先进模型均未能在实时条件下拆除任何炸弹,而人类玩家可以做到。
  • 实验揭示状态跟踪、时间压力下行动效率、歧义处理和错误恢复四大薄弱环节。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。