跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

从搜索到综合:将大语言模型训练为零样本工作流生成器

文章摘要

论文提出 MetaFlow,把工作流生成视为元学习问题:模型根据任务与可用算子集合,学习如何组合出解题策略。该方法先在有监督的合成工作流数据上微调,再用可验证奖励的强化学习(RLVR)结合跨实例执行反馈优化端到端成功率,在问答、代码生成和数学推理基准上取得与先进基线相当的同域单次推理表现,并对未见任务与全新算子集展现出显著零样本泛化能力。

来源arXiv Machine Learning作者: Gan Luo, Zihan Qin, Bin Dong, Wotao Yin
从搜索到综合:将大语言模型训练为零样本工作流生成器
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大语言模型在许多任务上表现出色,但其针对单个问题给出的解决方案往往缺乏可靠部署所需要的结构一致性。相比之下,工作流在任务层面编码了反复出现的算法模式,提供了一个更有原则的框架:它对实例之间的差异具有鲁棒性,能留下可解释的调试轨迹,并且可以跨问题实例复用。问题在于,人工设计这样的工作流需要大量专业知识与投入,从而限制了它的推广。

自动生成工作流本可以缓解这一瓶颈,但现有方法存在两种局限:要么只产出针对具体实例的解法,没有学到任务层面的模式;要么无法泛化到训练配置之外。作者提出的 MetaFlow 把工作流生成重新表述为元学习问题:在给定一个任务和一组算子的条件下,模型学习如何组合出解题策略,而不是直接记忆某一个实例的答案。

MetaFlow 的训练分为两个阶段。第一阶段是在合成的 workflow 数据上进行监督微调,让模型先掌握工作流的结构与组合方式。第二阶段采用带可验证奖励的强化学习(RLVR),利用同一任务下多个问题实例上的执行反馈来提升端到端成功率,也就是让模型根据实际执行结果而非人工标注来调整策略。

实验显示,得到的模型不仅能针对训练过的任务生成有效工作流,还表现出很强的泛化能力:面对未训练过的任务以及全新的算子集合时,它依然能够给出可用的流程。在问答、代码生成和数学推理等基准上,MetaFlow 在同域任务中以单次推理即可达到与当前最优基线相当的性能,同时在域外任务和算子集上展现出显著的零样本泛化能力。

该论文由 Gan Luo 等四位作者完成,共 35 页、8 幅图,属于机器学习(cs.LG)方向,同时涉及人工智能(cs.AI)与计算与语言(cs.CL)。论文于 2026 年 6 月 29 日提交至 arXiv,编号为 arXiv:2606.30704。其核心贡献在于把工作流生成从针对单个实例的搜索,推向面向任务层面的策略综合,为更稳健、更可复用、也更易调试的模型部署提供了一条路径。

展开要点与分析

文章情报

工程师进阶

要点

  • MetaFlow 将任务级工作流生成建模为元学习问题,而非逐实例生成一次性解法。
  • 训练分两阶段:合成工作流数据的监督微调,以及利用执行反馈的可验证奖励强化学习(RLVR)。
  • 在问答、代码生成、数学推理基准上,同域单次推理性能可比先进基线。
  • 对未训练任务与全新算子集表现出较强的零样本泛化。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。