開源研究生態系統為智能體領域的三個主要方向——軟件工程、終端使用和網絡搜索——貢獻了大量優秀的數據集。然而,每個數據集都帶有獨立的測試框架、鏡像約定、評分腳本和故障模式,導致它們難以協同使用。為了解決這一問題,Prime Intellect將這些任務集整合到一個統一的taskset API下,提供超過36.5萬個環境,可用於強化學習訓練和評估。
統一的taskset API支持23個任務集,涵蓋約19.8萬個軟件工程任務(涉及20多種編程語言)、約2.86萬個終端任務和約13.76萬個搜索任務。這些任務通過verifiers v1工具實現標準化,該工具將每個環境分解為三個獨立的層:任務集(taskset)、測試框架(harness)和運行時(runtime)。用户只需一條命令即可運行任意任務集的評估,例如:uv run eval scaleswe-v1 --harness.id codex --harness.runtime.type prime -n 3。
為確保數據質量,Prime Intellect對每個數據集進行了金補丁和無操作驗證。金補丁驗證確保應用參考修復後測試全部通過,無操作驗證確保未做任何修改時測試全部失敗。驗證過程中,失敗任務會進行最多10次重試以區分不穩定性和確定性故障,並執行獨立的二次檢測和多次無編輯檢測。不符合條件的任務被排除,並保留在重新上傳的數據集中以供審計。例如,R2E-Gym的4,578個實例中有4,522個通過驗證,SWE-Lego的4,432個實例中有4,323個通過,Multi-SWE的2,232個實例經過雙重金補丁和無編輯過濾後保留。
在軟件工程領域,集成了多個知名數據集:SWE-bench Verified(500個經過人工篩選的GitHub問題)、SWE-bench Multilingual(300個跨8種語言的實例)、SWE-smith(83,519個通過注入bug生成的實例)、R2E-Gym(4,578個從真實提交生成的環境)、Multi-SWE(4,703個容器化RL實例)、SWE-rebench-V2(32,079個持續從GitHub PR挖掘的任務)、Scale-SWE(20,181個Python任務)、SWE-Lego(4,432個真實數據實例)、OpenSWE(45,320個任務)以及Senior SWE-Bench(50個調查和設計任務)。所有經過過濾和驗證的重新上傳均託管在Hugging Face的SWE RL集合中,每個數據集附帶詳細的變更説明和驗證方法。
終端任務方面,Terminal-Lego提供了約13,800個Docker可驗證的終端使用任務。搜索任務集包括PaperSearchQA、WideSeek、s1_deepresearch、OpenSeeker、DeepDive、BrowseComp、RedSearcher和BrowseComp_Plus等,總計約13.76萬個任務。
Prime Intellect還建立了共享的鏡像註冊表,包含約13.5萬個預構建的開源任務鏡像,與沙箱共同部署,避免了大規模併發回滾時Docker Hub的速率限制。在運行過程中,評分材料(如測試補丁、預期輸出)被隱藏,僅在評分時刻恢復,防止智能體利用容器內的信息進行獎勵作弊。通過這一統一平台,研究人員和開發者可以輕鬆地在多樣化環境上訓練和評估智能體,無需處理不同數據集的兼容性問題。