控制LLM中的推理努力程度

在OpenAI发布o1并普及基于LLM的推理模型近两年后，DeepSeek-R1紧随其后，并详细介绍了使用可验证奖励强化学习（RLVR）训练此类模型的配方。最近，OpenAI发布了GPT-5.6模型系列，包含三种尺寸，每种尺寸约有五到六种推理努力设置。推理模型已成为现代模型发布的标准部分。

本文主要关注如何开发具有多种努力模式的推理模型。首先，明确“推理模型”的定义：在AI和LLM研究中，推理模型是指输出中间推理轨迹的模型，该轨迹逐步处理问题或任务。这与人类推理不同，但能有效提升复杂任务性能。

训练推理模型的核心方法是RLVR，它通过提供奖励信号（0=错误，1=正确）在可验证数据领域（如数学和代码）训练模型。值得注意的是，中间推理轨迹本身不用于训练，尽管一些研究尝试使用过程奖励模型。DeepSeek-R1-Zero展示了纯RLVR足以让模型学会推理，包括自我纠正的“啊哈”时刻。

除了训练，推理缩放是提升性能的另一个杠杆。这包括在推理期间使用更多计算，例如通过自洽性多次查询模型并投票选出最终答案。DeepSeekMath-V2在推理模型上应用极端推理缩放，在数学奥林匹克问题上取得了先进性能。

思考标记（如<think>）用于标记推理轨迹的开始和结束，便于UI隐藏。但它们是装饰性的，不赋予模型推理能力，可以通过格式奖励在RLVR中引入。

第一代推理模型是专用模型，总是生成冗长回应。后来的模型如Qwen3实现了混合方法，同一模型可按需表现为普通指令微调模型或推理模型。Qwen3通过分词器启用enable_thinking标志，训练中通过监督微调（SFT）和通用RL阶段实现模式切换。该标志作为硬开关，强制添加或移除思考部分。

总之，控制推理努力程度是当前LLM发展的重要方向，通过训练和推理技术的结合，模型能够灵活调整推理深度以适应不同任务需求。