提升LLM推理能力的推理时间缩放方法分类

推理时间缩放已成为提升已部署大型语言模型（LLM）答案质量和准确性的最有效方法之一。其核心理念简单直接：如果在推理阶段（即模型生成文本时）愿意投入更多的计算资源和时间，就能让模型产出更优质的答案。目前，所有主流LLM提供商都在使用某种形式的推理时间缩放技术，而相关学术文献也在迅速增长。

本文在作者3月份对推理时间缩放领域进行概述的基础上，进一步将不同方法划分为更清晰的类别，并重点介绍最近几个月出现的新工作。作为《从零开始构建推理模型》一书推理时间缩放章节的起草工作的一部分，作者亲自尝试了许多基本方法，并通过超参数调优进行了数千次实验，最终选定了章节中需要详细讨论的方法。这些章节已纳入早期访问计划，并且作者特别满意其成果：将基础模型的准确率从约15%提升至约52%。

文章详细介绍了几种主要的技术路线：思维链提示通过引导模型逐步推理，提高复杂问题的求解能力；自一致性通过多次采样推理路径并选择最一致的答案，从而提升可靠性；最佳N排序生成多个候选答案，然后根据评分机制选择最佳的一个；带验证器的拒绝采样利用验证器模型对采样结果进行筛选，保留高质量答案；自我优化让模型对自身生成的答案进行反思和改进；搜索解决方案路径在解空间中进行搜索，以找到最优推理路径。这些方法可以相互组合，进一步提升效果。

文章最后还讨论了专有LLM在实际中使用的推理时间缩放技术，为读者提供了更广阔的视野。随着作者后续在GitHub上补充更多代码实现，本文将成为理解和应用推理时间缩放的重要参考资料。作者还提到，推理时间缩放的思想在经典机器学习中已有雏形（如集成方法），而在LLM领域，OpenAI的o1模型发布使这一方法再次成为焦点。本文聚焦于不改变模型权重的训练后缩放技术，为工程师和研究者的实际部署提供了有益的指导。