提升LLM推理能力的推理時間縮放方法分類

推理時間縮放已成為提升已部署大型語言模型（LLM）答案質量和準確性的最有效方法之一。其核心理念簡單直接：如果在推理階段（即模型生成文本時）願意投入更多的計算資源和時間，就能讓模型產出更優質的答案。目前，所有主流LLM提供商都在使用某種形式的推理時間縮放技術，而相關學術文獻也在迅速增長。

本文在作者3月份對推理時間縮放領域進行概述的基礎上，進一步將不同方法劃分為更清晰的類別，並重點介紹最近幾個月出現的新工作。作為《從零開始構建推理模型》一書推理時間縮放章節的起草工作的一部分，作者親自嘗試了許多基本方法，並透過超引數調優進行了數千次實驗，最終選定了章節中需要詳細討論的方法。這些章節已納入早期訪問計劃，並且作者特別滿意其成果：將基礎模型的準確率從約15%提升至約52%。

文章詳細介紹了幾種主要的技術路線：思維鏈提示透過引導模型逐步推理，提高複雜問題的求解能力；自一致性透過多次取樣推理路徑並選擇最一致的答案，從而提升可靠性；最佳N排序生成多個候選答案，然後根據評分機制選擇最佳的一個；帶驗證器的拒絕取樣利用驗證器模型對取樣結果進行篩選，保留高質量答案；自我最佳化讓模型對自身生成的答案進行反思和改進；搜尋解決方案路徑在解空間中進行搜尋，以找到最優推理路徑。這些方法可以相互組合，進一步提升效果。

文章最後還討論了專有LLM在實際中使用的推理時間縮放技術，為讀者提供了更廣闊的視野。隨著作者後續在GitHub上補充更多程式碼實現，本文將成為理解和應用推理時間縮放的重要參考資料。作者還提到，推理時間縮放的思想在經典機器學習中已有雛形（如整合方法），而在LLM領域，OpenAI的o1模型釋出使這一方法再次成為焦點。本文聚焦於不改變模型權重的訓練後縮放技術，為工程師和研究者的實際部署提供了有益的指導。