オープンリサーチエコシステムは、エージェントの主要3ドメイン（ソフトウェアエンジニアリング、ターミナル使用、ウェブ検索）向けに多くの優れたデータセットを生み出してきました。しかし、各データセットは独自のテストハーネス、イメージ規約、スコアリングスクリプト、障害モードを持ち、それらを協調して使用することは困難でした。Prime Intellectはこれらのタスクセットを統一的taskset APIの下に統合し、強化学習トレーニングと評価のための36万5千以上の環境を提供します。
統一的taskset APIは23のタスクセットをサポートし、約19.8万のソフトウェアエンジニアリングタスク（20以上の言語）、約2.86万のターミナルタスク、約13.76万の検索タスクを含みます。これらのタスクはverifiers v1ツールによって標準化され、各環境はタスクセット、ハーネス、ランタイムの3つの独立した層に分解されます。ユーザーは単一のコマンドで任意のタスクセットの評価を実行できます。例：uv run eval scaleswe-v1 --harness.id codex --harness.runtime.type prime -n 3。
データ品質を確保するため、Prime Intellectは各データセットに対してゴールドパッチおよびノーオペレーション検証を実施しました。ゴールドパッチ検証では、参照修正の適用後にすべてのテストが合格することを確認し、ノーオペレーション検証では修正なしですべてのテストが不合格になることを確認します。検証では、失敗を不安定性と決定的な障害に区別するために最大10回の再試行が行われ、独立した2回目のパスと複数の編集なしパスが実行されました。条件を満たさないタスクは除外され、再アップロードされたデータセットに記録されて監査可能です。例えば、R2E-Gymの4,578インスタンスのうち4,522が検証に合格し、SWE-Legoの4,432のうち4,323が合格、Multi-SWEの2,232インスタンスは2回のゴールドパッチと編集なしフィルタを通過しました。
ソフトウェアエンジニアリング分野では、SWE-bench Verified（500インスタンス）、SWE-bench Multilingual（8言語300インスタンス）、SWE-smith（88,130インスタンス）、R2E-Gym（4,578インスタンス）、Multi-SWE（4,703コンテナ化RLインスタンス）、SWE-rebench-V2（32,079タスク）、Scale-SWE（20,181 Pythonタスク）、SWE-Lego（4,432実データインスタンス）、OpenSWE（45,320タスク）、Senior SWE-Bench（50調査・設計タスク）などが統合されています。フィルタリングおよび検証済みの再アップロードはすべてHugging FaceのSWE RLコレクションで公開されており、各データセットには元のデータセットとの差分、検証方法、除外記録が文書化されています。
ターミナルタスクとしては、Terminal-Lego（約13,800のDocker検証可能タスク）が含まれます。検索タスクセットは、PaperSearchQA、WideSeek、s1_deepresearch、OpenSeeker、DeepDive、BrowseComp、RedSearcher、BrowseComp_Plusなどで構成され、合計約13.76万タスクです。
Prime Intellectはまた、約13.5万のプリビルドオープンソースタスクイメージを含む共有イメージレジストリを構築し、サンドボックスと同一場所に配置することで、大規模並行ロールアウト時のDocker Hubレート制限を回避しています。実行中は、スコアリング材料（テストパッチ、期待出力など）は隠蔽され、スコアリング時のみ復元されるため、エージェントがコンテナ内の情報を利用して報酬を不正取得することを防止します。この統一プラットフォームにより、研究者や開発者は異なるデータセットの互換性問題を気にすることなく、多様な環境でエージェントをトレーニングおよび評価できます。