跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

The Trinity:面向多模态智能体的能力驱动递归自我改进

文章摘要

arXiv 新论文提出 The Trinity 框架,通过 Creator、Explorer、Evolver 三个角色耦合世界生成与 Harness 演化,以能力树替代任务表面分类,实现多模态智能体的递归自我改进。实验显示,演化后的 Harness 在 28 个训练基准上平均提升 34 分,在 18 个未见基准上提升 26 分,并覆盖两个真实具身任务。

来源arXiv AI作者: Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, Zhengfeiyang Zhang, Yixing Ma, Zichen Jiang, Ziyu Guo, Haodong Li, Zhengbo Jiao, Zhiqing Cui, Xinxiang Yin, Shuo Liang, Zhenglin Wan, Hongzhan Lin, Wangbo Zhao Kaipeng Zhang, Pengfei Zhou, Odin Zhang, Yang You
The Trinity:面向多模态智能体的能力驱动递归自我改进
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

多模态智能可以被理解为世界与智能体之间在人类引导下通过交互实现的共同演化过程。然而,要让这一过程规模化,面临两个突出瓶颈:一是构建异构且可验证的环境成本高昂,二是人工迭代 Harness 的速度难以跟上任务多样性和复杂度的增长。arXiv 上提交的一篇新论文《The Trinity: Capability-Driven Recursive Self-Improvement for Multimodal Agents》针对这两个瓶颈提出了一个递归自我改进框架。

该论文的关键洞察在于,不同模态和不同表面形式的任务,往往共享相同的底层能力要求。基于这一观察,作者提出把任务组织的基础从表面类别转向共享需求。框架通过三个角色来耦合世界生成与 Harness 演化:Creator、Explorer 和 Evolver。其中,Evolver 利用经过验证的执行轨迹,将原始任务树重新组织为分层的能力树,使任务归类不再依赖模态或形式,而是依据其所要求的能力。

在此基础上,论文引入了“能力驱动的 Real2Sim2Real”机制。对于能力树同一节点下的异构任务,Creator 会抽象出它们的共同需求,构建简化且可验证的模拟世界,用于能力学习;随后在原始任务上进行评估,以衡量迁移效果。沿着这棵能力树,Explorer 通过选择性继承逐步演化出可复用的能力模块,形成一个 Harness 树,并且经过验证的更新会在固定拓扑内跨迭代累积。这样产生的 Harness 会各自专精于不同能力,进而催生一个“能力感知的 Harness 路由器”,它利用公开的任务信息从树中选择兼容的模块配置。

实验结果表明,演化后的 Harness 在 28 个训练基准上平均性能提升 34 分,在 18 个未见基准上提升 26 分,其中包括两个真实世界的具身任务。该论文由 Weidong Tang 等 20 位作者完成,提交于 2026 年 10 月 26 日,属于人工智能(cs.AI)与计算机视觉与模式识别(cs.CV)交叉方向。

展开要点与分析

文章情报

工程师进阶

要点

  • 核心洞察是不同模态和表面形式的任务可以共享底层能力需求,因此将任务树重组为分层能力树。
  • 框架包含 Creator、Explorer、Evolver 三个角色,分别负责模拟世界生成、能力模块演化和任务组织重构。
  • 在 28 个训练基准上平均提升 34 分,在 18 个未见基准上提升 26 分,并包含两个真实具身任务。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。