跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

擴充套件智慧體強化學習:為軟體工程、終端和搜尋提供36.5萬個環境

文章摘要

Prime Intellect將23個開源智慧體任務集整合到統一的API下,提供超過36.5萬個環境,用於軟體工程、終端和搜尋領域的強化學習訓練和評估。所有任務經過金補丁和無操作驗證,確保獎勵訊號乾淨。

來源Hacker News AI作者: anacleto
擴充套件智慧體強化學習:為軟體工程、終端和搜尋提供36.5萬個環境
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

開源研究生態系統為智慧體領域的三個主要方向——軟體工程、終端使用和網路搜尋——貢獻了大量優秀的資料集。然而,每個資料集都帶有獨立的測試框架、映象約定、評分指令碼和故障模式,導致它們難以協同使用。為了解決這一問題,Prime Intellect將這些任務集整合到一個統一的taskset API下,提供超過36.5萬個環境,可用於強化學習訓練和評估。

統一的taskset API支援23個任務集,涵蓋約19.8萬個軟體工程任務(涉及20多種程式語言)、約2.86萬個終端任務和約13.76萬個搜尋任務。這些任務透過verifiers v1工具實現標準化,該工具將每個環境分解為三個獨立的層:任務集(taskset)、測試框架(harness)和執行時(runtime)。使用者只需一條命令即可執行任意任務集的評估,例如:uv run eval scaleswe-v1 --harness.id codex --harness.runtime.type prime -n 3。

為確保資料質量,Prime Intellect對每個資料集進行了金補丁和無操作驗證。金補丁驗證確保應用參考修復後測試全部透過,無操作驗證確保未做任何修改時測試全部失敗。驗證過程中,失敗任務會進行最多10次重試以區分不穩定性和確定性故障,並執行獨立的二次檢測和多次無編輯檢測。不符合條件的任務被排除,並保留在重新上傳的資料集中以供審計。例如,R2E-Gym的4,578個例項中有4,522個透過驗證,SWE-Lego的4,432個例項中有4,323個透過,Multi-SWE的2,232個例項經過雙重金補丁和無編輯過濾後保留。

在軟體工程領域,整合了多個知名資料集:SWE-bench Verified(500個經過人工篩選的GitHub問題)、SWE-bench Multilingual(300個跨8種語言的例項)、SWE-smith(83,519個透過注入bug生成的例項)、R2E-Gym(4,578個從真實提交生成的環境)、Multi-SWE(4,703個容器化RL例項)、SWE-rebench-V2(32,079個持續從GitHub PR挖掘的任務)、Scale-SWE(20,181個Python任務)、SWE-Lego(4,432個真實資料例項)、OpenSWE(45,320個任務)以及Senior SWE-Bench(50個調查和設計任務)。所有經過過濾和驗證的重新上傳均託管在Hugging Face的SWE RL集合中,每個資料集附帶詳細的變更說明和驗證方法。

終端任務方面,Terminal-Lego提供了約13,800個Docker可驗證的終端使用任務。搜尋任務集包括PaperSearchQA、WideSeek、s1_deepresearch、OpenSeeker、DeepDive、BrowseComp、RedSearcher和BrowseComp_Plus等,總計約13.76萬個任務。

Prime Intellect還建立了共享的映象登錄檔,包含約13.5萬個預構建的開源任務映象,與沙箱共同部署,避免了大規模併發回滾時Docker Hub的速率限制。在執行過程中,評分材料(如測試補丁、預期輸出)被隱藏,僅在評分時刻恢復,防止智慧體利用容器內的資訊進行獎勵作弊。透過這一統一平臺,研究人員和開發者可以輕鬆地在多樣化環境上訓練和評估智慧體,無需處理不同資料集的相容性問題。

展開要點與分析

文章情報

工程師進階

要點

  • 統一的taskset API覆蓋23個任務集,包括約19.8萬個軟體工程任務、約2.86萬個終端任務和約13.76萬個搜尋任務。
  • verifiers v1將環境分解為任務集、測試框架和執行時三層,支援標準化評估和訓練。
  • 所有資料集經過嚴格驗證,重新上傳清理後的版本,排除無法產生乾淨獎勵訊號的任務。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。