跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

LIFT:用于评估和训练指令跟随能力的作用域约束

文章摘要

来自 arXiv 的一篇新论文提出了 Lift-Bench 与 Lift-Train,用于评估和训练语言模型的指令跟随能力。其核心创新是把约束限定在文档的特定章节内,从而更精细地控制约束密度;基准同时包含可程序验证的约束和由评审判断的约束,并同时提供主任务约束和指令跟随约束,以缓解浅层奖励黑客问题。作者发现前沿模型在较难的子集上表现吃力,而在 Lift-Train 上训练比在常见的 IFTrain 上训练更不易出现奖励黑客。

来源arXiv Computational Linguistics作者: Eran Goldstein, Yuval Belfer, Yonatan Belinkov, Daniel Gissin
LIFT:用于评估和训练指令跟随能力的作用域约束
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 10 月 20 日发布了一篇题为《LIFT: Scoped Constraints for Evaluating and Training Instruction Following》的论文(编号 arXiv:2610.28819v1,分类 cs.CL,ACM 类别 I.2.7),作者为 Eran Goldstein 等四人,其中 Yonatan Belinkov 为提交者。论文聚焦于指令遵循(instruction following,IF)评测与训练中的一个关键隐患:奖励黑客(reward hacking)。

研究团队首先回顾了现有做法的局限。常见的指令遵循基准,例如 IFEval,主要考察语言模型能否遵循那些可以被程序轻易验证的简单约束。这些相同的约束随后又被用作强化学习的奖励信号。作者指出,这样的设计可能导致模型对约束本身进行奖励黑客,即模型学会机械地满足可验证的条件,却偏离真正的主任务。近期的改进尝试构建了约束更丰富的基准,但这些方案依赖专家人工标注,且大多保持闭源,也难以扩展。

为应对这些问题,作者提出了 Lift-Bench,一个要求模型根据给定主题和结构化大纲撰写文档的指令遵循基准。其核心设计是“作用域约束”(scoped constraints):约束被限定在文档的特定章节内,从而对约束密度提供更精细的控制。Lift-Bench 同时包含可验证约束与需评审的判断型约束,并配有对应的训练版本 Lift-Train。尤为重要的是,Lift-Bench 同时提供主任务约束和指令遵循约束,从而缓解浅层奖励黑客问题。

在多模型实验中,作者发现前沿模型在该基准较难的子集上表现吃力,并从多个维度分析了模型表现。实验还显示,在 Lift-Train 上训练比在常见的 IFTrain 上训练更不容易出现奖励黑客。Lift-Bench、Lift-Train 以及数据生成流水线均已公开提供,便于社区复现与扩展。

论文元数据方面,该文于 2026 年 10 月 20 日(周二)18:40:22 UTC 提交,文件大小约 1,028 KB,DOI 为 https://doi.org/10.48550/arXiv.2610.28819(经 DataCite 发放,注册待完成)。论文提供 PDF、实验性 HTML 与 TeX 源码等全文链接,许可证可在 arXiv 页面查看。读者还可用音频摘要、参考文献与引用工具(如 Google Scholar、Semantic Scholar)、代码与数据关联工具(如 alphaXiv、Hugging Face、CatalyzeX)以及相关论文推荐工具进一步探索。

展开要点与分析

文章情报

工程师进阶

要点

  • Lift-Bench 要求模型根据主题和结构化大纲撰写文档,并把约束限定在特定章节以控制约束密度。
  • 基准同时包含可验证约束与评审判断约束,并配对提供主任务约束和指令跟随约束。
  • 训练数据 Lift-Train 在实验中比 IFTrain 更不易被奖励黑客攻击;前沿模型在较难子集上仍有困难。
  • 基准、训练数据和数据生成流程均已公开。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。