2026年5月18日にarXivへ投稿された新研究（番号2605.19173、筆頭著者はAdrien Bazoge、共著者3名）は、大規模言語モデルへのプロンプトに用いる言語が、臨床診断における推論の質と最終的な診断精度に大きく影響することを示した。研究チームが着目したのは、これまで十分に検証されてこなかった問題である。大規模言語モデルは臨床意思決定支援への活用が進んでいるにもかかわらず、その評価の大半は英語で実施されており、他の言語における信頼性は不明なままだった。
比較対象となったのは、o3、DeepSeek-R1、GPT-4-Turbo、Llama-3.1-405B-Instruct、BioMistral-7Bの5モデルである。評価には16の診療科をカバーする180件の臨床ビネット（症例記述）を用い、2名の医師が18点満点の評価尺度で採点した。この尺度は最終診断の正確さだけでなく、推論の質も同時に測定するものである。
結果として、言語の影響は広く確認された。5モデル中4モデルが英語プロンプトでより高い成績を示し、平均差は0.37〜0.91点、調整後のp値は0.05未満で統計的に有意だった。著者らは、この差が最終回答だけにとどまらない点を強調している。差は鑑別診断の展開、論理構造の組み立て、内的妥当性の維持など、推論の複数の側面にまたがっていた。つまり英語で問いかけた場合、モデルは正しい診断を出しやすいだけでなく、推論の連鎖そのものがより完全で厳密になる傾向がある。
唯一の例外はo3で、5モデルの中で全体的な言語効果が見られなかった唯一のモデルである。ただし研究者らはこれを、言語問題が解決済みだという主張には結びつけていない。観察された結果として提示している。他のモデルがフランス語環境で相対的に劣ることは、同じモデルであっても言語や文化の異なる環境では臨床助言の質が一様でなくなり得ることを意味する。
論文の結論は、プロンプトの言語が依然として大規模言語モデルの臨床性能を左右する決定的な要因の一つであり、こうしたツールを世界規模で公平に展開するうえで直接的な影響を持つというものだ。著者らは、臨床意思決定支援システムが主に英語データで開発・評価されながらフランス語圏やその他の言語圏へ普及する場合、その信頼性と公平性を改めて検討する必要があると指摘している。本研究は、多言語での臨床評価をモデル公開前の標準的な手続きとすべきであり、任意の追加作業ではないことも示唆している。