本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

検索から合成へ:LLMをゼロショットのワークフロー生成器として訓練する

記事の要約

本論文はMetaFlowを提案する。ワークフロー生成をメタ学習問題として捉え、タスクと演算子集合が与えられたときに解戦略を組み立てることをモデルに学習させる。合成ワークフローデータでの教師ありファインチューニングに続き、問題インスタンス横断の実行フィードバックを用いた検証可能報酬付き強化学習(RLVR)で訓練する2段階構成をとる。質問応答・コード生成・数学的推論のベンチマークで、ドメイン内では単一推論で最先端ベースラインに匹敵し、未学習タスクや新規の演算子集合に対しても強いゼロショット汎化を示す。

ソースarXiv Machine Learning著者: Gan Luo, Zihan Qin, Bin Dong, Wotao Yin
検索から合成へ:LLMをゼロショットのワークフロー生成器として訓練する
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)は幅広いタスクで高い性能を発揮するが、個々のインスタンスに対する解法は、信頼性の高い運用に必要な構造的な一貫性を欠きがちである。これに対し、タスクレベルで繰り返し現れるアルゴリズムのパターンを符号化したワークフローは、より筋の通った枠組みを提供する。インスタンス間のばらつきに対して頑健であり、デバッグのための解釈可能なトレースを残し、問題インスタンスをまたいで再利用できる。ただし、そのようなワークフローを人手で設計するには高度な専門知識と多大な労力が必要で、普及の妨げになっている。

ワークフローの自動生成はこのボトルネックを緩和し得るが、既存手法には二つの限界がある。一つはインスタンス固有の解を出力するだけでタスクレベルのパターンを学習しないもの、もう一つは訓練時の設定を超えて汎化できないものである。著者らが提案するMetaFlowは、ワークフロー生成をメタ学習問題として捉え直す。つまり、タスクと演算子の集合が与えられたとき、モデルは個別の答えを暗記するのではなく、解戦略をどう組み立てるかを学習する。

MetaFlowの訓練は二段階で行われる。第一段階では合成ワークフローデータに対する教師ありファインチューニングを行い、モデルにワークフローの構造と組み合わせ方をまず習得させる。第二段階では、検証可能な報酬を用いた強化学習(RLVR)を採用し、同一タスク内の複数の問題インスタンスにわたる実行フィードバックを利用してエンドツーエンドの成功率を高める。人手によるラベルではなく、実際の実行結果に基づいて戦略を調整する仕組みである。

実験では、得られたモデルが訓練済みのタスクに対して有効なワークフローを生成するだけでなく、未学習のタスクやまったく新しい演算子集合にも強い汎化を示すことが確認されている。質問応答、コード生成、数学的推論のベンチマークでは、ドメイン内のタスクにおいて単一推論で最先端ベースラインに匹敵する性能を達成しつつ、ドメイン外のタスクや演算子集合に対して顕著なゼロショット汎化能力を発揮する。

本論文はGan Luoら4名によるもので、全35ページ、図8点からなる。分野は機械学習(cs.LG)で、人工知能(cs.AI)および計算と言語(cs.CL)にもまたがる。2026年6月29日にarXivへ投稿され、番号はarXiv:2606.30704である。中心的な貢献は、ワークフロー生成をインスタンス単位の探索からタスクレベルの戦略合成へと押し進め、より頑健で再利用しやすく、デバッグしやすいモデル運用への道筋を示した点にある。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • MetaFlowはタスクレベルのワークフロー生成を、インスタンス固有の解法ではなくメタ学習問題として定式化する。
  • 訓練は合成ワークフローデータでの教師ありファインチューニングと、実行フィードバックを用いたRLVRの2段階。
  • 質問応答・コード生成・数学的推論で、ドメイン内は単一推論で最先端ベースラインに匹敵する。
  • 未学習タスクと新規の演算子集合に対して強いゼロショット汎化を示す。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。