arXiv 于 2026 年 10 月 20 日发布了一篇题为《LIFT: Scoped Constraints for Evaluating and Training Instruction Following》的论文(编号 arXiv:2610.28819v1,分类 cs.CL,ACM 类别 I.2.7),作者为 Eran Goldstein 等四人,其中 Yonatan Belinkov 为提交者。论文聚焦于指令遵循(instruction following,IF)评测与训练中的一个关键隐患:奖励黑客(reward hacking)。
研究团队首先回顾了现有做法的局限。常见的指令遵循基准,例如 IFEval,主要考察语言模型能否遵循那些可以被程序轻易验证的简单约束。这些相同的约束随后又被用作强化学习的奖励信号。作者指出,这样的设计可能导致模型对约束本身进行奖励黑客,即模型学会机械地满足可验证的条件,却偏离真正的主任务。近期的改进尝试构建了约束更丰富的基准,但这些方案依赖专家人工标注,且大多保持闭源,也难以扩展。
为应对这些问题,作者提出了 Lift-Bench,一个要求模型根据给定主题和结构化大纲撰写文档的指令遵循基准。其核心设计是“作用域约束”(scoped constraints):约束被限定在文档的特定章节内,从而对约束密度提供更精细的控制。Lift-Bench 同时包含可验证约束与需评审的判断型约束,并配有对应的训练版本 Lift-Train。尤为重要的是,Lift-Bench 同时提供主任务约束和指令遵循约束,从而缓解浅层奖励黑客问题。
在多模型实验中,作者发现前沿模型在该基准较难的子集上表现吃力,并从多个维度分析了模型表现。实验还显示,在 Lift-Train 上训练比在常见的 IFTrain 上训练更不容易出现奖励黑客。Lift-Bench、Lift-Train 以及数据生成流水线均已公开提供,便于社区复现与扩展。
论文元数据方面,该文于 2026 年 10 月 20 日(周二)18:40:22 UTC 提交,文件大小约 1,028 KB,DOI 为 https://doi.org/10.48550/arXiv.2610.28819(经 DataCite 发放,注册待完成)。论文提供 PDF、实验性 HTML 与 TeX 源码等全文链接,许可证可在 arXiv 页面查看。读者还可用音频摘要、参考文献与引用工具(如 Google Scholar、Semantic Scholar)、代码与数据关联工具(如 alphaXiv、Hugging Face、CatalyzeX)以及相关论文推荐工具进一步探索。