大規模言語モデル（LLM）は構造化された臨床データにますます適用されているが、そのようなタスクにおいてモデルが自身の知識の限界を認識できるかどうかは、まだ十分に研究されていない。ICML 2026のEIMLワークショップで採択された論文「LLMは自分が知らないことを知らない」は、クロスモデル帰属不一致（cross-model attribution divergence）の視点からこの問題を調査した。著者のAkshat Dasulaらは、臨床表形式データの予測タスクでQwen 2.5 7BとXGBoostを比較し、帰属不一致を分析した。
研究は4つの主要な発見を報告している。第一に、LLMが言語化する自信は認識論的に空疎である。精度が49%であれ75.3%であれ、出力される自信は0.856から0.937のほぼ一定値であり、予測品質ではなくプロンプトの形式を反映している。これは、LLMの自己報告する自信に基づいて信頼性を評価することの危険性を示している。
第二に、LLMは「逆難易度効果」を示す。XGBoostの精度が99%のとき、LLMの精度は64.8%に低下するが、XGBoostが中程度の不確実性を示すときは、LLMはXGBoostと同等の精度（73.8%対73.1%）を達成する。これは、LLMが簡単なサンプルでは過信し、困難なサンプルでは相対的に良い性能を発揮する可能性があることを示唆するが、全体として性能と自信は乖離している。
第三に、少数例（few-shot）とSHAPに基づく特徴証拠は、直交的で超加的な介入である。これらを単独または組み合わせて使用すると、帰属不一致スコア（ADS）を1.54から0.38に減少させ、トレーニングなしで精度を49%から75.3%に向上させる。これは、適切なコンテキストと特徴説明を提供することで、構造化データにおけるLLMの性能を大幅に改善できることを示している。
第四に、著者らは帰属不一致信号を用いてLLMの信頼性を判断するクロスモデル校正器を提案する。この校正器は期待校正誤差を0.254から0.080に削減し、情報量のない言語化された自信を患者固有の信頼性推定に置き換える。しかも、モデル内部へのアクセスや繰り返し推論を必要としない。
著者らはこれらの発見を、構造化データにおけるLLMの「コールドスタート問題」と位置づけ、真の認識論的自己認識への道筋を描いている。この研究は、臨床などの高リスク領域でLLMを適用する際に、モデルの自己報告に依存しない信頼性評価方法の開発が必要であることを強調している。