这篇来自 arXiv(编号 arXiv:2606.14875,分类 cs.CL)的预印本由 Sisong Bei 等五位作者完成,于 2026 年 6 月 12 日提交,研究主题是小语言模型在多跳问答场景下的上下文压缩问题。
随着检索增强生成的普及,如何把检索到的大量段落压缩进有限的上下文窗口,成为小模型能否完成多跳推理的关键瓶颈。现有的压缩手段大致分为两类:一类是粗暴的字符层面裁剪,例如删除字符、直接截断或随机抽样子词;另一类是让模型生成连贯的自然语言摘要。论文的第一条核心论断就写在了标题里:上下文压缩并不是一件事,不同压缩方式保留的信息性质并不相同。
作者提出的方案名为 Telegraph English(可译为“电报式英语”),是一种可读的符号化格式。它并不追求写成通顺的散文,而是把检索到的段落重写为结构化的实体—关系陈述,把推理所需的证据以紧凑、可读的形式保留下来,从而在更低的 token 成本下维持多跳推理所需的关键信息。
实验设计采用受控对比。研究在 MuSiQue、TwoWiki 和 HotpotQA 三个多跳问答数据集上,将 Telegraph English 与三种同等 token 预算的压缩基线进行比较:字符级删除、截断以及随机子采样。结果显示,Telegraph English 在每一个数据集上都取得优势,F1 提升幅度为 13 至 20 个百分点。
更值得注意的是与连贯摘要的对比。在三个数据集中最难的一个上,Telegraph English 还超过了由同一编码器生成的连贯散文摘要。这一对比排除了编码器能力差异的干扰,把差异直接归因于压缩格式本身。
论文还报告了一项预先登记的假设检验:作者原本预期 Telegraph English 的优势会随推理深度增加而扩大。但在数据集内部,这一深度交互效应为零,优势并未随推理链条变长而增长。作者如实报告了这一阴性结果,并未将其掩饰为正向发现。
基于上述结果,作者给出的解释是:在相同的 token 预算下,可读的符号化重述比自然语言或连贯摘要能更密集地保留实体内容,而这种密度正是多跳问答的证据所在。论文全文以 PDF、实验性 HTML 与 TeX 源码形式提供,并附有 DOI 链接,篇幅约 67 KB。
从实践角度看,这项工作提示工程团队:当上下文预算紧张时,简单的截断或让模型写摘要未必是最优解;把段落改写成便于阅读的实体—关系式陈述,可能是在小模型上保住关键推理链条的更划算做法。