控制LLM中的推理努力程度

在OpenAI發佈o1並普及基於LLM的推理模型近兩年後，DeepSeek-R1緊隨其後，並詳細介紹了使用可驗證獎勵強化學習（RLVR）訓練此類模型的配方。最近，OpenAI發佈了GPT-5.6模型系列，包含三種尺寸，每種尺寸約有五到六種推理努力設置。推理模型已成為現代模型發佈的標準部分。

本文主要關注如何開發具有多種努力模式的推理模型。首先，明確“推理模型”的定義：在AI和LLM研究中，推理模型是指輸出中間推理軌跡的模型，該軌跡逐步處理問題或任務。這與人類推理不同，但能有效提升複雜任務性能。

訓練推理模型的核心方法是RLVR，它通過提供獎勵信號（0=錯誤，1=正確）在可驗證數據領域（如數學和代碼）訓練模型。值得注意的是，中間推理軌跡本身不用於訓練，儘管一些研究嘗試使用過程獎勵模型。DeepSeek-R1-Zero展示了純RLVR足以讓模型學會推理，包括自我糾正的“啊哈”時刻。

除了訓練，推理縮放是提升性能的另一個槓桿。這包括在推理期間使用更多計算，例如通過自洽性多次查詢模型並投票選出最終答案。DeepSeekMath-V2在推理模型上應用極端推理縮放，在數學奧林匹克問題上取得了先進性能。

思考標記（如<think>）用於標記推理軌跡的開始和結束，便於UI隱藏。但它們是裝飾性的，不賦予模型推理能力，可以通過格式獎勵在RLVR中引入。

第一代推理模型是專用模型，總是生成冗長回應。後來的模型如Qwen3實現了混合方法，同一模型可按需表現為普通指令微調模型或推理模型。Qwen3通過分詞器啓用enable_thinking標誌，訓練中通過監督微調（SFT）和通用RL階段實現模式切換。該標誌作為硬開關，強制添加或移除思考部分。

總之，控制推理努力程度是當前LLM發展的重要方向，通過訓練和推理技術的結合，模型能夠靈活調整推理深度以適應不同任務需求。