跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

The Trinity:面向多模態智能體的能力驅動遞歸自我改進

文章摘要

arXiv 新論文提出 The Trinity 框架,通過 Creator、Explorer、Evolver 三個角色耦合世界生成與 Harness 演化,以能力樹替代任務表面分類,實現多模態智能體的遞歸自我改進。實驗顯示,演化後的 Harness 在 28 個訓練基準上平均提升 34 分,在 18 個未見基準上提升 26 分,並覆蓋兩個真實具身任務。

來源arXiv AI作者: Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, Zhengfeiyang Zhang, Yixing Ma, Zichen Jiang, Ziyu Guo, Haodong Li, Zhengbo Jiao, Zhiqing Cui, Xinxiang Yin, Shuo Liang, Zhenglin Wan, Hongzhan Lin, Wangbo Zhao Kaipeng Zhang, Pengfei Zhou, Odin Zhang, Yang You
The Trinity:面向多模態智能體的能力驅動遞歸自我改進
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

多模態智能可以被理解為世界與智能體之間在人類引導下通過交互實現的共同演化過程。然而,要讓這一過程規模化,面臨兩個突出瓶頸:一是構建異構且可驗證的環境成本高昂,二是人工迭代 Harness 的速度難以跟上任務多樣性和複雜度的增長。arXiv 上提交的一篇新論文《The Trinity: Capability-Driven Recursive Self-Improvement for Multimodal Agents》針對這兩個瓶頸提出了一個遞歸自我改進框架。

該論文的關鍵洞察在於,不同模態和不同表面形式的任務,往往共享相同的底層能力要求。基於這一觀察,作者提出把任務組織的基礎從表面類別轉向共享需求。框架通過三個角色來耦合世界生成與 Harness 演化:Creator、Explorer 和 Evolver。其中,Evolver 利用經過驗證的執行軌跡,將原始任務樹重新組織為分層的能力樹,使任務歸類不再依賴模態或形式,而是依據其所要求的能力。

在此基礎上,論文引入了“能力驅動的 Real2Sim2Real”機制。對於能力樹同一節點下的異構任務,Creator 會抽象出它們的共同需求,構建簡化且可驗證的模擬世界,用於能力學習;隨後在原始任務上進行評估,以衡量遷移效果。沿着這棵能力樹,Explorer 通過選擇性繼承逐步演化出可複用的能力模塊,形成一個 Harness 樹,並且經過驗證的更新會在固定拓撲內跨迭代累積。這樣產生的 Harness 會各自專精於不同能力,進而催生一個“能力感知的 Harness 路由器”,它利用公開的任務信息從樹中選擇兼容的模塊配置。

實驗結果表明,演化後的 Harness 在 28 個訓練基準上平均性能提升 34 分,在 18 個未見基準上提升 26 分,其中包括兩個真實世界的具身任務。該論文由 Weidong Tang 等 20 位作者完成,提交於 2026 年 10 月 26 日,屬於人工智能(cs.AI)與計算機視覺與模式識別(cs.CV)交叉方向。

展開要點與分析

文章情報

工程師進階

要點

  • 核心洞察是不同模態和表面形式的任務可以共享底層能力需求,因此將任務樹重組為分層能力樹。
  • 框架包含 Creator、Explorer、Evolver 三個角色,分別負責模擬世界生成、能力模塊演化和任務組織重構。
  • 在 28 個訓練基準上平均提升 34 分,在 18 個未見基準上提升 26 分,幷包含兩個真實具身任務。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。