非英語語言推理的成本：以日語為例
本研究探討了訓練日語推理語言模型的可行性。通過使用GRPO對基於Qwen-3-Swallow-8B的日語持續預訓練模型進行訓練，研究者發現推理語言控制是可行的，但性能最多與英語推理基線持平。在日語文化基準測試中，模型表現甚至更差，表明日語推理並不能立即提升文化相關任務的表現。
推理語言模型（RLM）在英語推理任務上表現最佳，這是因為面向推理的訓練數據大多為英語。然而，推理軌跡對於模型的可解釋性和安全性至關重要，對用户和開發者都具有實用價值。因此，開發一個能夠按用户選擇的語言進行推理且保持高性能的模型是十分理想的。本研究以日語為例，探索了訓練日語推理語言模型的可行性。
研究團隊基於Qwen-3-Swallow-8B（一個從Qwen-3-8B持續預訓練的日語大語言模型），通過GRPO（組相對策略優化）訓練了一個日語推理變體。該變體在編碼、數學和科學基準上進行了評估。結果顯示，通過GRPO訓練日語持續預訓練模型可以實現推理語言控制，但其性能最多與強大的英語推理基線持平。
此外，研究團隊還在日語文化基準上評估了該模型，發現其性能甚至不如基線模型。這表明，僅僅使用日語推理並不能自動提升文化相關任務的表現。該研究為多語言推理模型的開發提供了重要見解，但同時也指出，要實現跨語言的高效推理，仍需進一步研究如何更好地整合文化知識。該論文由Yuu Jinnai撰寫，於2026年7月11日提交至arXiv，屬於計算與語言、人工智能和機器學習領域。研究者強調，未來的工作應關注如何在保持推理能力的同時，更好地將文化知識融入模型，以提升非英語語言中的推理表現。