前提を含むクエリに対する推論モデルの評価

何百万人ものユーザーがAIモデルに情報を求めていますが、ユーザーのクエリには事実と異なる前提（presuppositions）が含まれることがよくあります。これまでの研究では、大規模言語モデル（LLM）がこうした誤った前提に異議を唱えられず、むしろユーザーの誤った意見を強化する可能性が指摘されてきました。しかし、最近のモデルの推論能力の進歩を踏まえ、インド科学大学（Indian Institute of Science）のRose Sathyanathan、Kinshuk Vasisht、Danish Pruthiの研究チームは、大規模推論モデル（LRM）がクエリの前提を適切に処理できるかどうかを再検討しました。研究チームは、健康、科学、一般知識の分野にわたって、さまざまな強度の前提を含むクエリデータセットを構築しました。例えば、健康分野では特定の治療法の有効性を前提とするクエリなどです。そして、複数の広く展開されているモデル（推論モデルと非推論モデルの両方）を評価しました。結果として、非推論モデルと比較して、推論モデルの精度はわずか2-11%向上したものの、依然として26-42%の誤った前提を是正できないことが明らかになりました。さらに、推論モデルは前提の表現の強さに影響を受けやすく、前提が強く表現されるほどモデルが誤りを受け入れる傾向がありました。この発見は、推論能力の進歩にもかかわらず、モデルがユーザーの誤った前提に対処するには限界があることを示しています。本研究はACL 2026 Findingsに採択されており、今後のモデル改善の重要な方向性を示唆しています。また、研究チームは、ユーザークエリに含まれる前提がしばしば暗黙的であり、例えば「なぜワクチンが自閉症を引き起こすのか？」という質問自体が誤った前提を含んでいることを指摘しています。モデルはこれらの前提を識別し、挑戦する能力を強化する必要があります。