arXiv 於 2026 年 10 月 20 日釋出了一篇題為《LIFT: Scoped Constraints for Evaluating and Training Instruction Following》的論文(編號 arXiv:2610.28819v1,分類 cs.CL,ACM 類別 I.2.7),作者為 Eran Goldstein 等四人,其中 Yonatan Belinkov 為提交者。論文聚焦於指令遵循(instruction following,IF)評測與訓練中的一個關鍵隱患:獎勵駭客(reward hacking)。
研究團隊首先回顧了現有做法的侷限。常見的指令遵循基準,例如 IFEval,主要考察語言模型能否遵循那些可以被程式輕易驗證的簡單約束。這些相同的約束隨後又被用作強化學習的獎勵訊號。作者指出,這樣的設計可能導致模型對約束本身進行獎勵駭客,即模型學會機械地滿足可驗證的條件,卻偏離真正的主任務。近期的改進嘗試構建了約束更豐富的基準,但這些方案依賴專家人工標註,且大多保持閉源,也難以擴充套件。
為應對這些問題,作者提出了 Lift-Bench,一個要求模型根據給定主題和結構化大綱撰寫文件的指令遵循基準。其核心設計是“作用域約束”(scoped constraints):約束被限定在文件的特定章節內,從而對約束密度提供更精細的控制。Lift-Bench 同時包含可驗證約束與需評審的判斷型約束,並配有對應的訓練版本 Lift-Train。尤為重要的是,Lift-Bench 同時提供主任務約束和指令遵循約束,從而緩解淺層獎勵駭客問題。
在多模型實驗中,作者發現前沿模型在該基準較難的子集上表現吃力,並從多個維度分析了模型表現。實驗還顯示,在 Lift-Train 上訓練比在常見的 IFTrain 上訓練更不容易出現獎勵駭客。Lift-Bench、Lift-Train 以及資料生成流水線均已公開提供,便於社群復現與擴充套件。
論文後設資料方面,該文於 2026 年 10 月 20 日(週二)18:40:22 UTC 提交,檔案大小約 1,028 KB,DOI 為 https://doi.org/10.48550/arXiv.2610.28819(經 DataCite 發放,註冊待完成)。論文提供 PDF、實驗性 HTML 與 TeX 原始碼等全文連結,許可證可在 arXiv 頁面檢視。讀者還可用音訊摘要、參考文獻與引用工具(如 Google Scholar、Semantic Scholar)、程式碼與資料關聯工具(如 alphaXiv、Hugging Face、CatalyzeX)以及相關論文推薦工具進一步探索。