CoRA：信頼性のある思考連鎖推論のための信頼度と根拠の整合

思考連鎖（Chain-of-Thought, CoT）推論は、大規模言語モデル（LLM）に推論過程を段階的に提示させる技術であり、複雑なタスクにおける性能を大幅に向上させることができます。しかし、モデルが誤った答えに対して高い信頼度を示し、同時に生成された推論の根拠がもっともらしく見えても実際には不完全または不十分であるという問題がしばしば発生します。この「高信頼度だが根拠が弱い」現象は、モデルの信頼性を著しく損なう要因となります。この課題に対処するため、研究者は「信頼度-根拠整合（Confidence-Rationale Alignment）」という概念を導入しました。これは、モデルが最終的な答えに対して持つ信頼度が、生成された推論の根拠によって正当化されるかどうかを評価するものです。最新の研究「CoRA: Confidence-Rationale Alignment for Reliable Chain-of-Thought Reasoning」では、GRPO（Group Relative Policy Optimization）に基づく強化学習フレームワークを提案しています。このフレームワークは、答えの正しさ、選択された答えに対する信頼度確率（ソフトマックス出力の確率）、およびルーブリックベースの根拠支持度という三つの目標を共同で報酬として最適化します。ルーブリックは、根拠の質を四つの側面から自動評価する革新的な手法です：根拠性（事実や検証可能な情報に基づいているか）、一貫性（推論の論理が自己矛盾していないか）、タスク適合性（根拠が現在のタスクに関連しているか）、および選択された答えとの関連性（根拠が答えを直接支持しているか）。重要なのは、ルーブリックが評価時に正解を使用せず、情報漏洩を防いでいる点です。研究チームは、MedQA（医学質問応答）、MathQA（数学質問応答）、OpenBookQA（科学質問応答）の三つのベンチマークデータセットで、三つのオープンウェイトLLM（Llama、Mistralなど）を用いて実験を行いました。実験の結果、未調整のベースラインモデル、教師ありファインチューニング（SFT）、および正しさのみを報酬とするGRPOと比較して、CoRAは信頼度-根拠整合誤差を最大26.51%削減し、競争力のある精度を維持し、しばしばキャリブレーション（信頼度と精度の一致）を改善しました。これらの結果は、信頼性のあるCoT推論には、高い信頼度の答えだけでなく、それを実質的に支持する根拠が必要であることを強く示しています。CoRAフレームワークは、LLMの推論の信頼性を向上させる効果的な強化学習手法を提供し、医療診断や法的分析など説明可能性が重要視される分野での応用が期待されます。