開源研究生態系統為智慧體領域的三個主要方向——軟體工程、終端使用和網路搜尋——貢獻了大量優秀的資料集。然而,每個資料集都帶有獨立的測試框架、映象約定、評分指令碼和故障模式,導致它們難以協同使用。為了解決這一問題,Prime Intellect將這些任務集整合到一個統一的taskset API下,提供超過36.5萬個環境,可用於強化學習訓練和評估。
統一的taskset API支援23個任務集,涵蓋約19.8萬個軟體工程任務(涉及20多種程式語言)、約2.86萬個終端任務和約13.76萬個搜尋任務。這些任務透過verifiers v1工具實現標準化,該工具將每個環境分解為三個獨立的層:任務集(taskset)、測試框架(harness)和執行時(runtime)。使用者只需一條命令即可執行任意任務集的評估,例如:uv run eval scaleswe-v1 --harness.id codex --harness.runtime.type prime -n 3。
為確保資料質量,Prime Intellect對每個資料集進行了金補丁和無操作驗證。金補丁驗證確保應用參考修復後測試全部透過,無操作驗證確保未做任何修改時測試全部失敗。驗證過程中,失敗任務會進行最多10次重試以區分不穩定性和確定性故障,並執行獨立的二次檢測和多次無編輯檢測。不符合條件的任務被排除,並保留在重新上傳的資料集中以供審計。例如,R2E-Gym的4,578個例項中有4,522個透過驗證,SWE-Lego的4,432個例項中有4,323個透過,Multi-SWE的2,232個例項經過雙重金補丁和無編輯過濾後保留。
在軟體工程領域,整合了多個知名資料集:SWE-bench Verified(500個經過人工篩選的GitHub問題)、SWE-bench Multilingual(300個跨8種語言的例項)、SWE-smith(83,519個透過注入bug生成的例項)、R2E-Gym(4,578個從真實提交生成的環境)、Multi-SWE(4,703個容器化RL例項)、SWE-rebench-V2(32,079個持續從GitHub PR挖掘的任務)、Scale-SWE(20,181個Python任務)、SWE-Lego(4,432個真實資料例項)、OpenSWE(45,320個任務)以及Senior SWE-Bench(50個調查和設計任務)。所有經過過濾和驗證的重新上傳均託管在Hugging Face的SWE RL集合中,每個資料集附帶詳細的變更說明和驗證方法。
終端任務方面,Terminal-Lego提供了約13,800個Docker可驗證的終端使用任務。搜尋任務集包括PaperSearchQA、WideSeek、s1_deepresearch、OpenSeeker、DeepDive、BrowseComp、RedSearcher和BrowseComp_Plus等,總計約13.76萬個任務。
Prime Intellect還建立了共享的映象登錄檔,包含約13.5萬個預構建的開源任務映象,與沙箱共同部署,避免了大規模併發回滾時Docker Hub的速率限制。在執行過程中,評分材料(如測試補丁、預期輸出)被隱藏,僅在評分時刻恢復,防止智慧體利用容器內的資訊進行獎勵作弊。透過這一統一平臺,研究人員和開發者可以輕鬆地在多樣化環境上訓練和評估智慧體,無需處理不同資料集的相容性問題。