多模態智慧可以被理解為世界與智慧體之間在人類引導下透過互動實現的共同演化過程。然而,要讓這一過程規模化,面臨兩個突出瓶頸:一是構建異構且可驗證的環境成本高昂,二是人工迭代 Harness 的速度難以跟上任務多樣性和複雜度的增長。arXiv 上提交的一篇新論文《The Trinity: Capability-Driven Recursive Self-Improvement for Multimodal Agents》針對這兩個瓶頸提出了一個遞迴自我改進框架。
該論文的關鍵洞察在於,不同模態和不同表面形式的任務,往往共享相同的底層能力要求。基於這一觀察,作者提出把任務組織的基礎從表面類別轉向共享需求。框架透過三個角色來耦合世界生成與 Harness 演化:Creator、Explorer 和 Evolver。其中,Evolver 利用經過驗證的執行軌跡,將原始任務樹重新組織為分層的能力樹,使任務歸類不再依賴模態或形式,而是依據其所要求的能力。
在此基礎上,論文引入了“能力驅動的 Real2Sim2Real”機制。對於能力樹同一節點下的異構任務,Creator 會抽象出它們的共同需求,構建簡化且可驗證的模擬世界,用於能力學習;隨後在原始任務上進行評估,以衡量遷移效果。沿著這棵能力樹,Explorer 透過選擇性繼承逐步演化出可複用的能力模組,形成一個 Harness 樹,並且經過驗證的更新會在固定拓撲內跨迭代累積。這樣產生的 Harness 會各自專精於不同能力,進而催生一個“能力感知的 Harness 路由器”,它利用公開的任務資訊從樹中選擇相容的模組配置。
實驗結果表明,演化後的 Harness 在 28 個訓練基準上平均效能提升 34 分,在 18 個未見基準上提升 26 分,其中包括兩個真實世界的具身任務。該論文由 Weidong Tang 等 20 位作者完成,提交於 2026 年 10 月 26 日,屬於人工智慧(cs.AI)與計算機視覺與模式識別(cs.CV)交叉方向。