递归语言模型面临不确定性：自反式程序搜索在长上下文中的惊人效果
本文提出了SRLM框架，通过自反式程序搜索增强递归语言模型，利用自一致性、推理痕迹长度和置信度信号来评估上下文交互程序。实验显示，SRLM在长上下文任务中比传统RLM提升高达22%，且递归本身并非性能关键。
在大型语言模型（LLM）领域，长上下文处理始终是一个核心挑战。即便模型拥有扩展的上下文窗口，它们仍难以可靠地提取、推理和利用跨长上下文的信息。近期，递归语言模型（RLM）通过智能体方式，以程序化交互将长上下文分解为递归子查询，展现了一定的潜力。然而，RLM的成功关键取决于上下文交互程序轨迹的选择，这一问题此前尚未得到充分探索。
在本研究中，研究者引入了自反式程序搜索（Self-Reflective Program Search for Long Context，简称SRLM），这是一个增强基于编程的上下文交互并融入不确定性感知自反性的框架。SRLM利用三种内在信号：自一致性（self-consistency）、推理痕迹长度（reasoning trace length）和言语化置信度（verbalized confidence）。这些信号作为模型内部不确定性的互补指标，帮助模型评估和比较候选的上下文交互程序。
大量实验在多种基准数据集、上下文长度和骨干模型上进行，结果表明SRLM一致性地优于最先进的基线方法。在相同时间预算下，SRLM相比RLM实现了高达22%的性能提升。研究还发现，递归本身并非RLM性能的主要驱动因素，一个简单的自反式程序搜索无需自查询或显式递归机制即可匹配甚至超越RLM。值得注意的是，对于模型上下文窗口内的长度，RLM的递归往往导致性能相比基础模型下降，而SRLM在短上下文和长上下文中均能带来一致且稳健的提升。此外，在语义密集型的任务中，RLM效果较差，因为启发式程序搜索不足，需要更广泛的上下文理解；而SRLM的自反性提供了语义信号，在这些挑战性场景中更好地引导推理。
该论文由Keivan Alizadeh、Parshin Shojaee、Minsik Cho和Mehrdad Farajtabar共同撰写，来自苹果机器学习研究团队。研究强调了不确定性感知在长上下文推理中的重要性，并为未来设计更高效的语言模型交互策略提供了新方向。