オープンエンドな質問応答における推論の参照不要評価

AIが生成する回答は、特に医療や法律などの重要分野において、流暢でありながら検証が難しいことが多い。特に、単一の最終回答ではなく多段階の推論を含む場合、その正当性の評価は困難を極める。従来の評価手法は参照回答に依存するか、LLM自体を判定者として用いるが、参照がない場合やLLM判定者が流暢だが根拠の弱い応答を過剰に受け入れてしまう問題がある。

Guneet Singh Kohliらによる最新の研究では、LLMの推論過程を参照なしで監査する新しいフレームワークが提案された。この手法は、生成された推論トレースをセグメントに分解し、自然言語推論（NLI）を用いて各セグメントと目標との間の前提-関係をラベル付けし、それらをハイパーグラフに整理する。その後、決定論的な後向きAND-OR探索により、各セグメントが応答内でどのように根拠づけられているかを示す監査ラベルを割り当てる。

評価は、演繹的数学推論（Hard2Verifyデータセット）と、新しい医師注釈付きベンチマークUroReasonを用いた医療推論の2つの設定で行われた。UroReasonは実際の臨床症例からのLLM推論トレースを含む。実験の結果、NLIハイパーグラフ監査は、直接的なLLM判定ベースラインよりも信頼性の高い参照不要評価信号を提供することが示された。特に医療設定では、最先端のLLM判定者でも問題のある推論セグメントを見逃し、流暢だが根拠の弱い応答を過剰に受け入れる傾向があった。この結果は、QA評価においては推論トレース全体での推論関係の構成を考慮すべきであり、最終回答やLLM判定者だけに依存すべきではないことを示している。

研究チームはUroReasonをAPIで公開し、コードもオープンソースとしてリリースする予定である。この研究は、より信頼性の高いAIシステムの構築に向けた新たなアプローチを提供し、モデル選定や推論コスト、プロダクト能力、評価基準などに影響を与える可能性がある。