在大型語言模型（LLM）領域，長上下文處理始終是一個核心挑戰。即便模型擁有擴展的上下文窗口，它們仍難以可靠地提取、推理和利用跨長上下文的信息。近期，遞歸語言模型（RLM）通過智能體方式，以程序化交互將長上下文分解為遞歸子查詢，展現了一定的潛力。然而，RLM的成功關鍵取決於上下文交互程序軌跡的選擇，這一問題此前尚未得到充分探索。
在本研究中，研究者引入了自反式程序搜索（Self-Reflective Program Search for Long Context，簡稱SRLM），這是一個增強基於編程的上下文交互並融入不確定性感知自反性的框架。SRLM利用三種內在信號：自一致性（self-consistency）、推理痕跡長度（reasoning trace length）和言語化置信度（verbalized confidence）。這些信號作為模型內部不確定性的互補指標，幫助模型評估和比較候選的上下文交互程序。
大量實驗在多種基準數據集、上下文長度和骨幹模型上進行，結果表明SRLM一致性地優於最先進的基線方法。在相同時間預算下，SRLM相比RLM實現了高達22%的性能提升。研究還發現，遞歸本身並非RLM性能的主要驅動因素，一個簡單的自反式程序搜索無需自查詢或顯式遞歸機制即可匹配甚至超越RLM。值得注意的是，對於模型上下文窗口內的長度，RLM的遞歸往往導致性能相比基礎模型下降，而SRLM在短上下文和長上下文中均能帶來一致且穩健的提升。此外，在語義密集型的任務中，RLM效果較差，因為啓發式程序搜索不足，需要更廣泛的上下文理解；而SRLM的自反性提供了語義信號，在這些挑戰性場景中更好地引導推理。
該論文由Keivan Alizadeh、Parshin Shojaee、Minsik Cho和Mehrdad Farajtabar共同撰寫，來自蘋果機器學習研究團隊。研究強調了不確定性感知在長上下文推理中的重要性，併為未來設計更高效的語言模型交互策略提供了新方向。