大規模言語モデル（LLM）における長文脈処理は依然として核心的な課題である。拡張されたコンテキストウィンドウを持つモデルでも、長い文脈から情報を確実に抽出、推論、活用できないことが多い。近年、再帰的言語モデル（RLM）は、プログラム的な対話を通じて長文脈を再帰的サブクエリに分解するエージェント的アプローチでこの課題に取り組んでいる。有望ではあるものの、RLMの成功はこれらの文脈相互作用プログラムの軌跡の選択に決定的に依存しており、この点は未探索のままである。
本研究では、この問題を調査し、プログラミングベースの文脈相互作用に不確実性を考慮した自己反省を組み込んだフレームワーク「Self-Reflective Program Search for Long Context（SRLM）」を導入する。SRLMは3つの内在的シグナル（自己一貫性、推論トレース長、言語化された信頼度）を活用する。これらはモデルの内部不確実性の補完的指標として機能し、モデルはそれらを用いて候補の文脈相互作用プログラムを評価・比較する。
多様なベンチマークデータセット、文脈長、バックボーンモデルにわたる広範な実験により、SRLMが最先端のベースラインを一貫して上回り、同じ時間予算でRLMを最大22%改善することが示された。また、再帰そのものがRLMの性能の主な要因ではなく、単純な自己反省的プログラム検索が自己クエリや明示的な再帰機構を必要とせずにRLMに匹敵または凌駕することが明らかになった。モデルのコンテキストウィンドウ内の文脈長では、RLMの再帰がしばしばベースモデルと比較して性能を低下させるのに対し、SRLMは短文脈と長文脈の両方で一貫した堅牢な改善をもたらす。さらに、意味的に集中したタスクでは、ヒューリスティックなプログラム検索が不十分であり、より広範な文脈理解が必要であるためRLMは効果が低いが、SRLMの自己反省はセマンティックシグナルを提供し、これらの困難な長文脈シナリオで推論をより適切に導く。
本論文はKeivan Alizadeh、Parshin Shojaee、Minsik Cho、Mehrdad Farajtabar（アップル機械学習研究チーム）によるもので、不確実性認識が長文脈推論において重要であることを強調し、将来のより効率的な言語モデル対話戦略の設計に新たな方向性を提供する。