跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

擴展智能體強化學習:為軟件工程、終端和搜索提供36.5萬個環境

文章摘要

Prime Intellect將23個開源智能體任務集整合到統一的API下,提供超過36.5萬個環境,用於軟件工程、終端和搜索領域的強化學習訓練和評估。所有任務經過金補丁和無操作驗證,確保獎勵信號乾淨。

來源Hacker News AI作者: anacleto
擴展智能體強化學習:為軟件工程、終端和搜索提供36.5萬個環境
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

開源研究生態系統為智能體領域的三個主要方向——軟件工程、終端使用和網絡搜索——貢獻了大量優秀的數據集。然而,每個數據集都帶有獨立的測試框架、鏡像約定、評分腳本和故障模式,導致它們難以協同使用。為了解決這一問題,Prime Intellect將這些任務集整合到一個統一的taskset API下,提供超過36.5萬個環境,可用於強化學習訓練和評估。

統一的taskset API支持23個任務集,涵蓋約19.8萬個軟件工程任務(涉及20多種編程語言)、約2.86萬個終端任務和約13.76萬個搜索任務。這些任務通過verifiers v1工具實現標準化,該工具將每個環境分解為三個獨立的層:任務集(taskset)、測試框架(harness)和運行時(runtime)。用户只需一條命令即可運行任意任務集的評估,例如:uv run eval scaleswe-v1 --harness.id codex --harness.runtime.type prime -n 3。

為確保數據質量,Prime Intellect對每個數據集進行了金補丁和無操作驗證。金補丁驗證確保應用參考修復後測試全部通過,無操作驗證確保未做任何修改時測試全部失敗。驗證過程中,失敗任務會進行最多10次重試以區分不穩定性和確定性故障,並執行獨立的二次檢測和多次無編輯檢測。不符合條件的任務被排除,並保留在重新上傳的數據集中以供審計。例如,R2E-Gym的4,578個實例中有4,522個通過驗證,SWE-Lego的4,432個實例中有4,323個通過,Multi-SWE的2,232個實例經過雙重金補丁和無編輯過濾後保留。

在軟件工程領域,集成了多個知名數據集:SWE-bench Verified(500個經過人工篩選的GitHub問題)、SWE-bench Multilingual(300個跨8種語言的實例)、SWE-smith(83,519個通過注入bug生成的實例)、R2E-Gym(4,578個從真實提交生成的環境)、Multi-SWE(4,703個容器化RL實例)、SWE-rebench-V2(32,079個持續從GitHub PR挖掘的任務)、Scale-SWE(20,181個Python任務)、SWE-Lego(4,432個真實數據實例)、OpenSWE(45,320個任務)以及Senior SWE-Bench(50個調查和設計任務)。所有經過過濾和驗證的重新上傳均託管在Hugging Face的SWE RL集合中,每個數據集附帶詳細的變更説明和驗證方法。

終端任務方面,Terminal-Lego提供了約13,800個Docker可驗證的終端使用任務。搜索任務集包括PaperSearchQA、WideSeek、s1_deepresearch、OpenSeeker、DeepDive、BrowseComp、RedSearcher和BrowseComp_Plus等,總計約13.76萬個任務。

Prime Intellect還建立了共享的鏡像註冊表,包含約13.5萬個預構建的開源任務鏡像,與沙箱共同部署,避免了大規模併發回滾時Docker Hub的速率限制。在運行過程中,評分材料(如測試補丁、預期輸出)被隱藏,僅在評分時刻恢復,防止智能體利用容器內的信息進行獎勵作弊。通過這一統一平台,研究人員和開發者可以輕鬆地在多樣化環境上訓練和評估智能體,無需處理不同數據集的兼容性問題。

展開要點與分析

文章情報

工程師進階

要點

  • 統一的taskset API覆蓋23個任務集,包括約19.8萬個軟件工程任務、約2.86萬個終端任務和約13.76萬個搜索任務。
  • verifiers v1將環境分解為任務集、測試框架和運行時三層,支持標準化評估和訓練。
  • 所有數據集經過嚴格驗證,重新上傳清理後的版本,排除無法產生乾淨獎勵信號的任務。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。