我创建了一个平台来检验哪个AI模型是最佳玩家
System 2 Arena是一个客观的AI策略基准测试平台,旨在通过游戏环境评估不同AI模型的战略能力。
- System 2 Arena专注于AI策略基准测试
- 平台通过游戏方式评估AI模型性能
主题流
模型更新是 AI 产品和基础设施变化的源头。这里跟踪前沿模型、多模态能力、开源权重、上下文窗口、评测结果、API 变化和部署路径,帮助读者判断新模型是否真正改变成本、质量或可用性。
System 2 Arena是一个客观的AI策略基准测试平台,旨在通过游戏环境评估不同AI模型的战略能力。
Outlines是一个开源库,通过在推理时屏蔽不合法的标记,为大型语言模型(LLM)的输出引入确定性,从而可靠生成结构化输出如JSON和分类结果。本文通过Python示例展示了其三大用例:情感分析的多选分类、基于Pydantic的JSON对象生成,以及REST API的纯JSON生成。
一种名为'SociaLLM工程'的新型社会工程攻击正针对大型语言模型驱动的AI代理。这些攻击通过利用LLM的隐式社交理解和缺乏信任边界,操纵其泄露敏感信息或执行未授权操作。真实案例包括Instagram账户接管、GitHub工作流数据泄露以及AI浏览器的'BioShock'攻击。文章分析了LLM为何特别脆弱——因其设计追求服从、单一通道处理以及无记忆力——并提出了人工监督和强化防护栏等缓解措施。
印度企业越来越多地使用DeepSeek、阿里巴巴和Moonshot AI等中国大语言模型来降低人工智能成本,这进一步加深了印度对中国尖端技术的依赖,尽管两国之间长期存在冲突。
斯坦福大学的研究团队提出了TRACE系统,通过分析智能体失败轨迹,诊断缺失的能力,并为每个能力合成可验证的训练环境,利用LoRA适配器和GRPO算法进行训练,最后通过MoE组合实现令牌级路由。在τ²-Bench上提升15.3个百分点,在SWE-bench Verified上达到73.2%的Pass@1,超越了多个基线模型。
该研究旨在识别与导航难度相关的血管指标,并开发自动化管道进行定量血管特征提取,以支持未来复杂性分级。研究从61名患者的CT血管造影中分割血管树,测量了主动脉弓类型、牛型弓存在、血管长度、迂曲度、起始角、反向曲线数量等指标,并使用软演员-评论家强化学习算法进行120秒自主导航。结果显示,左侧牛型弓和II/III型主动脉弓分别增加导航时间30.19秒和37.92秒,更大的迂曲度进一步延长手术时间并降低成功率;右侧II/III型弓延长45.94秒,每个额外反向曲线增加3.96秒并降低成功率。该自动化管道为标准化复杂性分级和强化学习模型评估提供了基础。
CLAP通过在数值动作序列前添加自然语言描述,将预训练VLM高效转换为VLA,单周期微调后2B模型在LIBERO上达90.8%,鲁棒性更强。将发布0.8B、2B、4B开源模型。
FlowDAgger是一种样本和计算高效的方法,通过人类干预在潜在空间中自适应冻结的生成式机器人策略。其核心思想是动作反演,将人类专家动作映射为在基础策略下产生该动作的噪声,然后训练轻量级潜在策略来引导基础模型。该方法在仿真和真实双机械臂及单臂操作任务中均优于监督微调和潜在空间强化学习基线,并能保留预训练技能。
本文提出并验证了大规模文本到视频生成可作为计算机视觉的强预训练范式,所提出的GenCeption模型在深度估计、表面法线、相机位姿估计等多个视觉任务上达到领先性能,展现出数据效率和良好的泛化能力,为通用视觉智能提供了新路径。
C-GAP是一种新型框架,通过使用大语言模型(LLM)迭代优化语言提示,无需重新训练或额外标注,即可显著提升视觉语言模型对稀有类别的检测能力。该方法由两阶段组成:首先建立复合字幕基线,结合场景描述与类别数量上下文;其次,LLM基于少数类平均精度(AP)动态阈值,逐个图像地优化字幕,直至达到足够的性能增益。实验表明,C-GAP在多个基准上将少数类平均精度提升高达53%,在COCO数据集上相对基线提升约81%。
MultiView-Bench是一个专为评估视觉语言模型(VLM)多视图集成能力而设计的诊断基准。研究表明,当前最先进的VLM在单视图2D任务上表现优异,但在3D空间关系理解和跨视图信息聚合方面存在显著困难。为此,作者提出了ViewNavigator,一个多智能体框架,通过主动选择信息丰富的视角并融合多视图证据,显著提升了模型在MultiView-Bench上的表现。
一项在科特迪瓦进行的研究比较了甚高分辨率(0.5米)与十米级卫星影像在可可地图绘制中的表现,结果显示VHR的F1得分达到0.92,而TESSERA等基础模型嵌入(F1=0.86)提供了可扩展的替代方案。在破碎化景观中性能差异增大。
一项新研究表明,视觉Transformer(ViT)能够从自然图像中学习完形心理学中的图形-背景线索,如包围性、凸性和对称性。研究测试了25种ViT模型,发现它们稳健地编码了包围性和凸性,而对对称性的编码仅适用于均匀颜色区域。这项工作表明,完形线索可以从自然场景统计中学习,并为研究知觉组织的计算机制提供了模型系统。
本文介绍了作者在ICIP 2026极端野外车牌超分辨率挑战赛中的参赛系统,该系统结合了混合注意力Transformer超分辨率前端与两个场景文字识别器(PARSeq-S和CLIP4STR-B)的集成,采用置信度加权字符投票方案,在不确定位置弃权。在公共验证排行榜上获得了9.73 wECR分数,运行速度远低于时间预算。
Lume-Palette框架通过解耦照明蒸馏和照明投射两个阶段,实现了空间可控的多视角室内场景重照明,在保持多视角一致性的同时支持精细的3D光照控制。
本文提出了一种名为探针混合(MoP)的新框架,旨在解决多模态大语言模型(MLLMs)在特权模态设置下的学习问题。该框架通过结构化的探针机制从共享模态编码器的中间表示中提取信息,并引入MoP跨模态训练(MoP-X)策略,有效分离模态特定和模态通用信号。实验表明,MoP在八个任务和四种模态上比强基线模型提升高达65%。
StereoSplat+是一种基于扩散增强的前馈框架,能够从单个立体对进行因果重建,无需多视图观测。该方法包括立体高斯估计器和渐进推理方案,在KITTI-360数据集上相比基线方法提升了新视角渲染质量和几何精度。
本研究以牛津大学的二战众包数字档案为例,评估了三种NLP方法(命名实体识别、关键词提取、主题建模)在自动提取关键词上的表现。结果表明,NLP有潜力但无单一方案完美,模型选择至关重要,且开源提取模型比生成式AI更负责任。
本研究探索利用机器学习自动对大型文学语料库进行主题索引,以伏尔泰作品为案例,比较了多种模型,其中Mistral系列4位量化模型F1得分达0.67,证明了自动索引的潜力。
研究表明,在小型双曲语言模型中,可以涌现出创造力、诚实性和设计性遗忘等特性,为构建可信赖的伴侣AI提供了一条小模型路径。这些模型包括一个行为审计器、一个创意框架播种器和一个记忆操作系统。
该研究分析了11个GPT-2风格预训练模型的权重谱,发现跨层和组件共享的深度趋势,例如残差写入矩阵的规模增加和谱集中。研究者尝试利用这些谱模式作为初始化信号,但模仿谱特征的初始化方法未能带来性能提升,而直接重用预训练权重仍具竞争力。预训练谱作为结构诊断有用,但有效重用需要更丰富的信息。
这项研究探索了利用GPT-4o与检索增强生成(RAG)技术自动生成基于公司报告、宏观经济数据和SEC文件的投资者简报。系统对9家公司进行了为期4周的扫描,并由9名个人投资者评估其有效性。
知识图谱自动构建中常含事实错误,AgentKGV提出结合动态路由与迭代查询重写的智能LLM-RAG框架,并通过两阶段训练(基于蒸馏的SFT和轨迹级GRPO)提升准确性与成本效率。在T-REx基准上,宏F1比单轮RAG提升14.9个百分点,搜索调用次数减半。
一项新研究对语言模型中的涌现性失调(EM)现象提出了质疑,发现虽能复现EM,但失调与再对齐高度依赖于数据集表面特征,如回答长度差异,且先前报告的表征相变并不一致关联行为失调。这表明当前支持EM的证据不如之前声称的稳健,需要更严谨的评估协议。
HALO是一种混合自适应潜在精化方法,通过粗精化阶段和基于令牌评分的选择性第二阶段的潜在精化,在冻结的预训练语言模型上实现高效改进。在MMLU-Pro和GPQA-Diamond基准测试中,HALO的平均表现优于固定精化基线,且计算成本更低。
本文提出了一种针对大语言模型推理的高效GPU方法,采用三层矩阵存储格式,包括稀疏张量核心层、插槽填充层和残差层,实现稀疏矩阵乘法,在50%稀疏度下首次超越密集矩阵乘法,最高可达1.64倍内核加速和1.41倍端到端加速。
本文介绍了Director,一种新的分布式MoE推理系统,通过预测驱动的在线专家放置优化,显著降低端到端延迟。系统采用轻量级级联预测器或低比特量化副本预测专家激活模式,结合近乎零停机的在线迁移模块,以及基于松弛优化的专家放置算法,在多项式时间内达到(1+ε)近似比。实验表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比现有工作延迟降低11%~55%。
本文提出奖励传输(Reward Transport)方法,利用最优传输耦合在训练时将噪声空间坐标与分子奖励对齐,推理时通过调整该坐标实现属性控制,无需额外模型或梯度。实验表明,该方法在ZINC-250K和GuacaMol数据集上对logP和QED具有单调控制能力,且与分类器无关引导互补。
我们提出StickyMoE,一种可微分的路由一致性损失,在训练时惩罚相邻令牌之间的专家切换,从而在边缘设备上实现内存高效推理。实验显示,专家切换率降低高达60%,困惑度下降不到4%。
本文提出有符号对称量化方法,解决标准对称量化器因整数范围不平衡导致的正异常值截断问题,同时避免非对称量化的运行时开销。理论分析表明该方法在ℓ2误差上条件最优,且88-99%的LLM权重组满足条件。实验在Qwen3、Llama3等模型上验证了困惑度和少样本准确率的提升。
iLENS是一个基于大语言模型(LLM)和混合专家系统(MoE)的可解释框架,用于预测阿尔茨海默病(AD)从前驱期向痴呆期的转化。它整合结构化神经影像测量和非结构化信息,通过LLM指导专家路由,不仅提供竞争性的预测性能,还能进行患者分型,并为路由决策提供透明、生物学合理的解释,弥合了高性能生存分析与可解释临床决策支持之间的差距。
本文提出了一种统一的方法来解释大型语言模型(LLM)中知识蒸馏(KD)的机制。通过将输出分解为多个交互,发现KD的共性机制是交互稀疏化,即学生模型保留更少交互进行推理。性能差异源于处理复杂交互的能力,并据此提出了复杂交互惩罚(CIP)损失函数。实验表明CIP能持续提升各种KD方法的性能。
KV-PRM是一种高效的过程奖励模型,通过直接利用大语言模型生成阶段自然产生的KV缓存,避免了文本重新编码,将评分成本从O(L²)降至O(L)。实验表明,在多个基准上,KV-PRM在匹配或超越文本PRM性能的同时,实现了高达5000倍的FLOPs减少、37倍延迟降低和34倍内存占用减少。
MedRealMM是一个基于中国互联网医院真实医患对话的大规模多模态基准,包含5,620个案例,覆盖64个科室。它通过多模态临床挑战点(MCCP)框架提取关键临床时刻,并评估19个通用和医学专用大语言模型。结果表明,图像信息对临床性能至关重要,当前前沿模型虽在某些正面指标上接近医生,但触发更多负面指标,安全敏感性错误避免仍是主要瓶颈。
本文介绍了一种神经代理控制框架,结合LLM规划器与时间序列基础模型(TimesFM),通过反事实物理注入机制确保物理安全,在SWaT数据集上表现优于LSTM和TCN,零幻觉动作执行。
Long-Horizon-Terminal-Bench是一个包含46个长时任务的终端基准测试,涵盖实验复现、软件工程、多模态分析等9个类别。它通过细粒度子任务提供密集中间奖励和部分分数,更全面地评估AI智能体的能力。评估15个前沿模型发现,最强模型在部分奖励阈值0.95下通过率仅15.2%,完全正确通过率10.9%,平均通过率更低,表明仍有巨大改进空间。
GATS是一种新的智能体规划框架,通过系统性的UCB1树搜索和分层世界模型,在规划过程中完全消除LLM调用,同时实现100%的成功率。与LATS和ReAct相比,GATS不仅在合成任务中表现优异,在12个挑战性场景中也保持100%成功率,且计算成本更低。
新研究CogniConsole提出,大型语言模型的可靠性不仅取决于模型能力,还受推理时控制影响。通过结构化接口(结合程序化协调与有界提示推理),实验证明增加结构支架可系统性地降低输出方差和失败率,表明许多失效模式源于控制不足。
麻省理工学院和Thorn的研究人员开发了一种审计技术,通过分析模型的内部调整而非生成输出,来检测生成式AI模型是否被专门用于生成儿童性虐待材料(CSAM)。该方法在测试中达到100%准确率,具有可扩展性,且成本低廉,有望帮助平台和执法机构识别并移除有害模型。
密歇根大学研究团队推出NeuroVFM,一种基于524万临床MRI和CT体积训练的通用神经影像基础模型。其Vol-JEPA方法将自监督学习扩展到体积医学影像,无需放射报告标签即可学习大脑解剖和病理。在156项诊断任务中达到92.68(CT)和92.49(MRI)的AUROC,并支持报告生成、分诊和跨模态迁移。
本文探讨了“直接负责人(DRI)”的概念,该术语源自苹果公司,指对项目成败最终负责的人。作者认为,随着LLM驱动的智能体融入组织,它们永远不应被视为项目的DRI,因为只有人类才能承担责任,而机器不能。文章还引用了IBM 1979年的培训幻灯片,其中指出计算机永远不能承担责任,因此绝不能做出管理决策。
最新基准测试显示,GPT-5.6 Sol在拉取请求(PR)安全审查中表现最佳,实现100%召回率和0.91的F1分数,每次PR成本仅0.70美元。Anthropic的模型(如Fable 5)未能进入前沿表现,且成本更高。Grok 4.5和Gemini 3.1 Flash Lite提供了经济高效的替代方案。测试使用私有合成仓库以避免数据污染。
由于 GPT-5.6 Sol 被明确归类为 Fable/Mythos 级模型,Anthropic 再次延长了 Claude Max 计划中 Fable 模型的可用期限至 7 月 19 日。此举原因为计算资源限制,而 OpenAI 则对 GPT-5.6 的访问限制显得更有信心。作者认为 Anthropic 应永久保留 Fable 访问权限,否则用户会因不确定性而转向 OpenAI。
AI性能取决于准确性、吞吐量和交互性三个维度。本文聚焦吞吐量和交互性,探讨模型设计选择如何在不牺牲准确性的情况下优化两者,旨在推动帕累托前沿向外扩展。
作者通过Basecamp基准测试评估了GPT-5.6 Sol、Fable 5、Grok 4.5等AI模型在构建前端和后端方面的表现。Fable 5在两个赛道上均获胜,Grok 4.5在速度和成本之间取得了最佳平衡。结果显示,即使是顶级模型在完成度上也有显著差异,尤其是最后10%的打磨工作。
SlimeBallBench是一个新的AI基准测试,让AI模型在史莱姆足球游戏中竞技,评估其决策和策略能力。
前沿AI实验室正从聊天机器人转向集成系统,模型作为运行时,频繁发布强大模型和代理。本周亮点包括OpenAI的GPT-5.6(Sol、Terra、Luna),具备程序化工具调用和并行子代理;GPT-Live全双工音频;ChatGPT Work用于创建工件;Meta的Muse Spark 1.1拥有百万token上下文和主动上下文管理;Grok 4.5专注于编码和知识工作。研究方面,OpenAI审计表明SWE-Bench Pro基准30%任务有问题;Anthropic提出GRAM方法可选择性移除危险知识;SkillOpt-Lite优化代理自我进化;DSpark和Nemotron-Labs-Diffusion改进推理效率。行业新闻包括Lovable融资3亿美元,Prime Intellect融资1.3亿美元,SambaNova融资10亿美元等。
一项新的基准测试显示,来自12个实验室的18个AI模型的108个测量位置中,有97个位于左倾。结果呈现一致的进步倾向,但在经济、外交政策和宗教方面存在例外。xAI的Grok模型最接近中心,而许多模型拒绝回答某些问题,影响了得分。
Thinking Machines Lab发布报告《值得构建的未来以人为本》,主张AI应分布式、可定制、由用户塑造。报告提出四个技术方向:训练强多模态模型、提供用户微调工具、拓宽人机交互通道、开放研究。论证隐性本地知识要求AI分布式,并通过Tinker API实现可拥有权重的LoRA微调。对比集中冻结AI,强调去中心化对齐。
sqlite-utils 4.1 是 4.0 之后的第一个小版本,引入了多项新功能,包括通过 --code 选项允许用户在 insert 和 upsert 命令中直接嵌入 Python 代码生成行数据,以及通过 --type 选项覆盖列类型,支持对 CSV 或 TSV 中的邮政编码等字段强制存储为文本。此外,新增了 drop-index 命令和从标准输入读取查询的功能。还添加了在 transform 中切换 STRICT 模式的能力。