跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Prime Intellect 釋出 Verifiers v1:用於智慧體強化學習訓練和評估的可組合任務集、框架和執行時

文章摘要

Prime Intellect 釋出了 verifiers 0.2.0,預覽了重寫的 v1 核心。v1 將環境分解為任務集(做什麼)、框架(怎麼做)和執行時(在哪裡),並透過攔截伺服器記錄訓練軌跡。任何任務集均可與任何相容框架配合使用,並直接支援 prime-rl 訓練。

來源MarkTechPost作者: Michal Sutter
Prime Intellect 釋出 Verifiers v1:用於智慧體強化學習訓練和評估的可組合任務集、框架和執行時
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Prime Intellect 近日釋出了 verifiers 0.2.0,其中預覽了重寫的核心,該核心以新的 verifiers.v1 名稱空間提供。現代評估通常使用帶工具、壓縮和子代理的編碼代理,因此 v1 重新構建了環境,以大規模執行這些智慧體工作負載。

verifiers 是 Prime Intellect 用於智慧體強化學習(RL)和評估的環境棧。在之前版本中,環境將資料、代理邏輯和基礎設施捆綁在一起。而 v1 則將其拆分為三個可組合的部分:任務集定義工作內容(資料、工具和評分),框架解決任務並生成 rollout(例如 ReAct 迴圈、CLI 代理等),rollout 則在執行時(本地或沙箱)中執行。由於各部分解耦,任何任務集都可以在任何相容的框架下執行。

各元件之間的通訊依賴於 verifiers 管理的攔截伺服器。該伺服器位於代理的執行時和推理伺服器之間,代理請求和響應,同時記錄軌跡、設定取樣引數,並可重寫工具響應,這有助於在訓練期間緩解獎勵駭客攻擊。為了擴充套件,每個伺服器多路複用固定數量的 rollout(預設為 32),然後池根據觀察到的併發性彈性擴充套件。伺服器還擁有一個客戶端來中繼這些請求:評估期間 EvalClient 作為盲 HTTP 代理,訓練期間 TrainClient 封裝渲染器以實現真實的 token 級 RL 訓練。

由於框架使用不同的協議,verifiers 當前支援三種:OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages。方言介面卡將每種格式標準化為規範的 vf.types,因此評分邏輯與被測試的代理無關。

相比 v0,v1 環境模型將資料、邏輯和基礎設施分開;軌跡增長從每輪二次方變為線性;支援非線性 rollout 和子代理;執行時管理由框架自動處理;框架與解耦;訓練資料直接從軌跡消費。

實際使用中,團隊可以執行 Nemotron 3 Ultra 在 Terminal-Bench 2 上配合 Codex 框架。同樣,Harbor 資料集無需重寫獎勵邏輯即可重用。Prime Intellect 僅用一個小類就將 Terminal Bench 2 移植到 v1,內部測試中 verifiers 在相同任務上與 Harbor 效能匹配。Harbor 是第一個完全支援的第三方格式,NeMo Gym 和 OpenEnv 為 alpha 支援。

訓練方面,同一環境可直接接入 prime-rl。在一次長度懲罰消融實驗中,GLM-4.5-Air 在六個 H200 節點上使用 ScaleSWE 訓練兩小時,並在 SWE-Bench-Verified 上評估,展示了穩定的智慧體訓練。

每個執行從定義資料和評分的任務集開始,與框架無關。例如,可以定義一個加法任務集。任何任務集透過 TOML 和 CLI 在選定框架下執行。

核心要點:v1 將環境分為任務集、框架和執行時;攔截伺服器代理請求並記錄軌跡;線性訊息圖軌跡支援長程訓練;完整支援 prime-rl 訓練;Harbor 資料集和常用框架開箱即用。

展開要點與分析

文章情報

工程師進階

要點

  • v1 將環境拆分為任務集、框架和執行時三個獨立部分。
  • 攔截伺服器代理框架與推理伺服器之間的請求,並記錄軌跡。
  • 線性訊息圖軌跡取代了 v0 的二次方提示-響應對,支援長程訓練。
  • Harbor 資料集和 Codex、Terminus 2 等框架開箱即用。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。