大型语言模型正越来越多地被用于结构化临床数据，但它们在执行此类任务时能否认识到自身知识的边界，仍是一个尚未被充分探索的问题。一篇被ICML 2026的EIML研讨会接收的论文《LLM不知道自己不知道什么》通过跨模型归因分歧（cross-model attribution divergence）的视角研究了这一问题。作者Akshat Dasula等人在一个临床表格数据的预测任务上，比较了Qwen 2.5 7B与XGBoost模型，并分析了归因分歧。
研究揭示了四个主要发现。第一，LLM口头表达的置信度在认知上是空洞的。无论模型准确率是49%还是75.3%，其输出的置信度都几乎恒定，在0.856到0.937之间，更多反映的是提示的格式，而不是预测的质量。这意味着，依赖LLM自我报告的置信度来评估其可靠性是危险的。
第二，LLM表现出一种“逆难度效应”。当XGBoost准确率高达99%时，LLM的准确率却下降到64.8%；但当XGBoost表现出中等程度的不确定性时，LLM的准确率反而与XGBoost相当（73.8%对73.1%）。这表明LLM在简单样本上可能过度自信，而在困难样本上可能相对更好，但整体上其性能与自身置信度脱节。
第三，少样本示例与基于SHAP的特征证据是正交且超加性的干预措施。单独使用或组合使用时，它们能将归因分歧分数（Attribution Disagreement Score, ADS）从1.54降低到0.38，并将准确率从49%提升到75.3%，且无需任何训练。这说明通过提供适当的上下文和特征解释，可以显著改善LLM在结构化数据上的表现。
第四，作者提出了一种跨模型校准器，利用归因分歧信号来判断LLM的可靠性。该校准器将预期校准误差从0.254降低到0.080，用针对患者的可靠性估计取代了无信息量的口头置信度，而且无需访问模型内部或进行重复推理。
作者将这些发现视为LLM在结构化数据上的“冷启动问题”，并勾勒了通向真正认知自我意识的路径。这项研究强调了在临床等高风险领域应用LLM时，需要开发不依赖模型自我报告的可靠性评估方法。