AI News HubLIVE
站内改写2 分钟阅读

用于ARC-AGI-1抽象推理和泛化的成本效益代理框架

研究者提出了两种成本效益高的代理架构——探索-定义管道和反思性协调器,在ARC-AGI-1基准上分别达到57.50%和67.25%的pass@2,成本仅为每任务0.25美元和0.62美元,无需基准特定训练或大量测试时计算。

来源arXiv AI作者: Kabir Moghe, Peter Chin

arXiv上的一篇新论文提出了两种成本效益高的代理架构,用于解决ARC-AGI-1基准测试中的抽象推理和泛化问题。该研究由Kabir Moghe等人进行,采用开放权重模型DeepSeek V3.2的非思考模式,在严格预算下,不进行任何ARC特定的微调,探索仅通过架构设计获得的性能提升。

研究者首先引入了探索-定义管道(Explorer-Definer Pipeline),这是一个两阶段代理流程。第一阶段负责模式探索,第二阶段则基于发现的模式定义和执行转换。这种方法明确分离了模式发现与可执行转换合成,避免了传统方法中的耦合问题。在ARC-AGI-1公共400任务评估集上,该管道达到了57.50%的pass@2,每任务成本仅0.25美元。

为进一步提升性能,团队提出了反思性协调器(Reflective Orchestrator)。当管道生成的假设在训练对上失败时,协调器能够自主探索新的转换,而不是简单地重新排序或重试。这种自适应重新探索机制将性能提升至67.25% pass@2,每任务成本0.62美元。整体上,这些架构将15.50%的单次基线提升了约52个百分点,且无需基准特定训练或大量测试时计算,展示了一条极具成本效益的路径。

论文还通过协调器驱动的提升测试了管道产生的可证伪诊断。无偏的pass@k分析表明,管道是生成受限而非选择受限的——通过训练对准确率进行选择能捕获约95%的候选上限,这意味着显著改进需要更广泛的生成能力,而非更好的排序策略。协调器通过自适应重新探索实现了这一预测,并确认了无偏pass@1提升9.81个百分点,与选择介导的pass@2提升相匹配。此外,管道消融实验确定其思考工具是一个重要组件,移除后pass@2降低5.75个百分点,进一步验证了各模块的贡献。

这项研究的价值在于,它证明了在不依赖大量计算资源或专门训练的情况下,通过巧妙的代理架构设计即可在抽象推理任务上取得显著进步。这对于资源受限的研究团队和实际应用具有重要意义,同时也为未来推理系统的设计提供了新的思路。