跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

LIFT:用於評估和訓練指令跟隨能力的作用域約束

文章摘要

來自 arXiv 的一篇新論文提出了 Lift-Bench 與 Lift-Train,用於評估和訓練語言模型的指令跟隨能力。其核心創新是把約束限定在文檔的特定章節內,從而更精細地控制約束密度;基準同時包含可程序驗證的約束和由評審判斷的約束,並同時提供主任務約束和指令跟隨約束,以緩解淺層獎勵黑客問題。作者發現前沿模型在較難的子集上表現吃力,而在 Lift-Train 上訓練比在常見的 IFTrain 上訓練更不易出現獎勵黑客。

來源arXiv Computational Linguistics作者: Eran Goldstein, Yuval Belfer, Yonatan Belinkov, Daniel Gissin
LIFT:用於評估和訓練指令跟隨能力的作用域約束
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 10 月 20 日發佈了一篇題為《LIFT: Scoped Constraints for Evaluating and Training Instruction Following》的論文(編號 arXiv:2610.28819v1,分類 cs.CL,ACM 類別 I.2.7),作者為 Eran Goldstein 等四人,其中 Yonatan Belinkov 為提交者。論文聚焦於指令遵循(instruction following,IF)評測與訓練中的一個關鍵隱患:獎勵黑客(reward hacking)。

研究團隊首先回顧了現有做法的侷限。常見的指令遵循基準,例如 IFEval,主要考察語言模型能否遵循那些可以被程序輕易驗證的簡單約束。這些相同的約束隨後又被用作強化學習的獎勵信號。作者指出,這樣的設計可能導致模型對約束本身進行獎勵黑客,即模型學會機械地滿足可驗證的條件,卻偏離真正的主任務。近期的改進嘗試構建了約束更豐富的基準,但這些方案依賴專家人工標註,且大多保持閉源,也難以擴展。

為應對這些問題,作者提出了 Lift-Bench,一個要求模型根據給定主題和結構化大綱撰寫文檔的指令遵循基準。其核心設計是“作用域約束”(scoped constraints):約束被限定在文檔的特定章節內,從而對約束密度提供更精細的控制。Lift-Bench 同時包含可驗證約束與需評審的判斷型約束,並配有對應的訓練版本 Lift-Train。尤為重要的是,Lift-Bench 同時提供主任務約束和指令遵循約束,從而緩解淺層獎勵黑客問題。

在多模型實驗中,作者發現前沿模型在該基準較難的子集上表現吃力,並從多個維度分析了模型表現。實驗還顯示,在 Lift-Train 上訓練比在常見的 IFTrain 上訓練更不容易出現獎勵黑客。Lift-Bench、Lift-Train 以及數據生成流水線均已公開提供,便於社區復現與擴展。

論文元數據方面,該文於 2026 年 10 月 20 日(週二)18:40:22 UTC 提交,文件大小約 1,028 KB,DOI 為 https://doi.org/10.48550/arXiv.2610.28819(經 DataCite 發放,註冊待完成)。論文提供 PDF、實驗性 HTML 與 TeX 源碼等全文鏈接,許可證可在 arXiv 頁面查看。讀者還可用音頻摘要、參考文獻與引用工具(如 Google Scholar、Semantic Scholar)、代碼與數據關聯工具(如 alphaXiv、Hugging Face、CatalyzeX)以及相關論文推薦工具進一步探索。

展開要點與分析

文章情報

工程師進階

要點

  • Lift-Bench 要求模型根據主題和結構化大綱撰寫文檔,並把約束限定在特定章節以控制約束密度。
  • 基準同時包含可驗證約束與評審判斷約束,並配對提供主任務約束和指令跟隨約束。
  • 訓練數據 Lift-Train 在實驗中比 IFTrain 更不易被獎勵黑客攻擊;前沿模型在較難子集上仍有困難。
  • 基準、訓練數據和數據生成流程均已公開。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。