在大型語言模型（LLM）領域，長上下文處理始終是一個核心挑戰。即便模型擁有擴充套件的上下文視窗，它們仍難以可靠地提取、推理和利用跨長上下文的資訊。近期，遞迴語言模型（RLM）透過智慧體方式，以程式化互動將長上下文分解為遞迴子查詢，展現了一定的潛力。然而，RLM的成功關鍵取決於上下文互動程式軌跡的選擇，這一問題此前尚未得到充分探索。
在本研究中，研究者引入了自反式程式搜尋（Self-Reflective Program Search for Long Context，簡稱SRLM），這是一個增強基於程式設計的上下文互動並融入不確定性感知自反性的框架。SRLM利用三種內在訊號：自一致性（self-consistency）、推理痕跡長度（reasoning trace length）和言語化置信度（verbalized confidence）。這些訊號作為模型內部不確定性的互補指標，幫助模型評估和比較候選的上下文互動程式。
大量實驗在多種基準資料集、上下文長度和骨幹模型上進行，結果表明SRLM一致性地優於最先進的基線方法。在相同時間預算下，SRLM相比RLM實現了高達22%的效能提升。研究還發現，遞迴本身並非RLM效能的主要驅動因素，一個簡單的自反式程式搜尋無需自查詢或顯式遞迴機制即可匹配甚至超越RLM。值得注意的是，對於模型上下文視窗內的長度，RLM的遞迴往往導致效能相比基礎模型下降，而SRLM在短上下文和長上下文中均能帶來一致且穩健的提升。此外，在語義密集型的任務中，RLM效果較差，因為啟發式程式搜尋不足，需要更廣泛的上下文理解；而SRLM的自反性提供了語義訊號，在這些挑戰性場景中更好地引導推理。
該論文由Keivan Alizadeh、Parshin Shojaee、Minsik Cho和Mehrdad Farajtabar共同撰寫，來自蘋果機器學習研究團隊。研究強調了不確定性感知在長上下文推理中的重要性，併為未來設計更高效的語言模型互動策略提供了新方向。