本文にスキップ
AI News HubLIVE
サイト内リライト3 分で読了

Prime Intellect、Verifiers v1をリリース:エージェントRLトレーニングと評価のための構成可能なタスクセット、ハーネス、ランタイム

記事の要約

Prime Intellect は verifiers 0.2.0 をリリースし、書き直された v1 コアをプレビューしました。v1 は環境をタスクセット(何を)、ハーネス(どのように)、ランタイム(どこで)に分割し、リクエストをプロキシしてトレーニング用のトレースを記録するインターセプションサーバーを導入します。任意のタスクセットは互換性のある任意のハーネスの下で実行でき、prime-rl トレーニングを完全にサポートします。

ソースMarkTechPost著者: Michal Sutter
Prime Intellect、Verifiers v1をリリース:エージェントRLトレーニングと評価のための構成可能なタスクセット、ハーネス、ランタイム
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Prime Intellect は、verifiers 0.2.0 をリリースし、新しい verifiers.v1 名前空間で提供される書き直されたコアをプレビューしました。最新の評価では、ツール、コンパクション、サブエージェントを備えたコーディングエージェントが実行されるため、v1 はこれらのエージェントワークロードを大規模に実行するように環境を再構築しています。

verifiers は、Prime Intellect のエージェント強化学習(RL)および評価のための環境スタックです。以前のバージョンでは、環境はデータ、エージェントロジック、インフラストラクチャをバンドルしていました。しかし、v1 はそのバンドルを3つの構成可能な部分に分割します。タスクセットは作業(データ、ツール、スコアリング)を定義し、ハーネスはタスクを解決してロールアウトを生成します(ReAct ループ、CLI エージェントなど)。ロールアウトはランタイム(ローカルまたはサンドボックス)内で実行されます。各部分が疎結合されているため、任意のタスクセットを互換性のある任意のハーネスの下で実行できます。

これらの部分間の通信は、verifiers 管理のインターセプションサーバーを介して行われます。このサーバーはエージェントのランタイムと推論サーバーの間に位置し、リクエストと応答をプロキシすると同時に、トレースを記録し、サンプリングパラメータを設定し、ツール応答を書き換えることができます。これにより、トレーニング中の報酬ハッキングを軽減できます。拡張のために、各サーバーは一定数のロールアウト(デフォルト32)を多重化し、プールは観測された同時実行性に応じて弾力的にスケールします。サーバーはこれらのリクエストを中継するクライアントも所有します。評価中は EvalClient がブラインド HTTP プロキシとして機能し、トレーニング中は TrainClient がレンダラーをラップして忠実なトークンレベルの RL トレーニングを実現します。

ハーネスは異なるプロトコルを使用するため、verifiers は現在 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages の3つをサポートしています。方言アダプターが各ワイヤーフォーマットを正規化された vf.types に変換するため、スコアリングロジックはテスト対象のエージェントから独立しています。

v0 と比較して、v1 の環境モデルはデータ、ロジック、インフラを分離し、トレースの成長はターンあたりの二次関数から線形に改善され、非線形ロールアウトとサブエージェントをネイティブにサポートし、ランタイム管理はフレームワークが自動化し、ハーネスの結合は疎結合になり、トレーニングデータはトレースから直接消費されます。

実際の使用例として、Nemotron 3 Ultra を Terminal-Bench 2 で Codex ハーネスと共に実行できます。同様に、Harbor データセットは報酬ロジックを書き換えることなく再利用可能です。Prime Intellect は Terminal Bench 2 をわずかなクラスで v1 に移植し、内部テストでは verifiers が同じタスクで Harbor と同等のパフォーマンスを達成しました。Harbor は最初の完全サポートサードパーティ形式であり、NeMo Gym と OpenEnv はアルファサポートです。

トレーニング面では、同じ環境を prime-rl に直接接続できます。長さペナルティのアブレーション実験では、GLM-4.5-Air が6台の H200 ノードで ScaleSWE を使用して2日間トレーニングされ、SWE-Bench-Verified で評価され、安定したエージェントトレーニングを示しました。

各実行は、データとスコアリングを定義するタスクセットから始まり、ハーネスに依存しません。例えば、加算タスクセットを定義できます。任意のタスクセットは、TOML と CLI を介して選択したハーネスの下で実行できます。

主なポイント:v1 は環境をタスクセット、ハーネス、ランタイムに分割し、インターセプションサーバーがリクエストをプロキシしてトレースを記録し、線形メッセージグラフトレースが長期的なトレーニングを可能にし、prime-rl トレーニングを完全にサポートし、Harbor データセットと一般的なハーネスがすぐに使えます。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • v1 は環境をタスクセット、ハーネス、ランタイムの3つに分割します。
  • インターセプションサーバーがハーネスと推論サーバー間のリクエストをプロキシし、トレースを記録します。
  • 線形メッセージグラフトレースにより、長期にわたるトレーニングが可能になります。
  • Harbor データセットや Codex、Terminus 2 などのハーネスがすぐに使用できます。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。