上下文搜尋何時有幫助？反射驅動推理的取樣複雜度理論

大型語言模型（LLM）的擴充套件推理能力使其能夠進行上下文搜尋——模型迭代地生成、批評和修訂解決方案嘗試。然而，這種反射驅動推理何時真正有效？來自arXiv的一篇新論文（編號2607.06720）提供了深入的理論分析，透過將上下文搜尋建模為推理軌跡上的近似推斷來回答這個問題。

在該理論框架中，基礎模型被視為定義了一個先驗分佈，而模型的自我反思則提供反饋，用於執行後驗更新。研究者重點關注推理時的取樣複雜度，即達到高成功機率所需的順序嘗試次數。他們發現，當反思能夠可靠地定位早期錯誤時（即，模型能準確識別推理鏈中最早出現錯誤的位置），上下文搜尋可以帶來指數級的效能提升。具體而言，那些零樣本透過率極低的問題，透過上下文搜尋僅需要多項式次數的順序嘗試就能解決。這相比基礎模型所需的指數級嘗試次數是巨大的進步。相反，如果反思無法可靠地定位錯誤，那麼基於過去嘗試的條件生成並不會比簡單的並行取樣提供任何漸近優勢——兩種方法在極限情況下需要相同量級的嘗試次數。

研究進一步表明，這些效能增益是穩健的，並且可以透過學習獲得。他們證明，即使使用近似的後驗更新（而非精確的貝葉斯推斷），也能實現類似的改進。更重要的是，透過在搜尋展開的資料上進行交叉熵訓練，模型可以學習到所需的行為，並且所需的樣本複雜度是多項式的。此外，在可驗證獎勵的強化學習設定下，最優策略擴充套件恰好實現了與上下文搜尋相同的後驗重新加權規則，從而建立了兩個領域之間的聯絡。

最後，作者在真實的大型推理模型（如具有推理能力的LLM）上驗證了理論的關鍵定性預測，例如，對於不同型別的推理問題，上下文搜尋的效能提升如何依賴於反思質量。該工作為理解LLM推理中的上下文搜尋機制奠定了理論基礎，並揭示了其有效性的關鍵條件。對於AI社群而言，這有助於指導更高效的推理策略設計，尤其是在需要複雜推理的任務中，例如數學競賽、程式碼生成和科學推理等。