プロンプト言語が大規模言語モデルの診断推論と精度に与える影響
5つの大規模言語モデル（LLM）について、英語とフランス語のプロンプトにおける診断推論性能を比較した研究では、o3を除く全てのモデルが英語で有意に優れた結果を示し、言語が臨床AIの公平な展開における重要な要因であることが明らかになった。
大規模言語モデル（LLM）は臨床意思決定支援への応用が進んでいるが、これまでの評価の大半は英語で行われており、他言語での信頼性は不明である。arXivプレプリント（ID: 2605.19173）に掲載されたAdrien Bazogeらの最新研究では、5種類のLLM（o3、DeepSeek-R1、GPT-4-Turbo、Llama-3.1-405B-Instruct、BioMistral-7B）を対象に、プロンプト言語が診断推論と最終診断精度に与える影響を系統的に比較した。
研究チームは16の専門領域をカバーする180の臨床 vignetteを作成し、2名の医師が18点満点の評価尺度を用いて各モデルの出力を診断精度と推論品質の両面から評価。その結果、o3を除く4モデルでは英語プロンプト時のスコアがフランス語時を有意に上回り、平均差は0.37から0.91ポイントに及んだ（調整後p<0.05）。この言語差は、鑑別診断の網羅性、論理的構成、内的整合性など複数の推論要素にわたって確認された。
特に注目すべき点として、o3は言語による全体的な性能差を示さず、汎言語的な推論能力の高さが示唆された。研究者らは、現在のLLMは主に英語データで訓練されているため、非英語プロンプトでは性能が低下する可能性を指摘。この知見は、LLMをグローバルに展開する際、英語圏での評価結果をそのまま他言語地域に適用すると、実際の臨床価値を過大評価するリスクがあることを警告している。
本研究は、LLMの臨床応用における言語公平性の重要性を実証し、今後の多言語評価の必要性を強く示唆する。また、特定言語向けのプロンプト最適化や訓練データの言語的多様性向上が、非英語圏でのAI診断支援の信頼性を高める鍵となるだろう。