大语言模型不知其所不知：通过跨模型归因分歧检测临床表格数据中的认知盲点
本研究比较了Qwen 2.5 7B和XGBoost在临床预测任务中的表现，通过归因分歧分析揭示了四个重要发现：LLM的口头置信度在认识论上是空洞的，存在逆向难度效应，少样本示例和SHAP特征证据的结合可显著提升准确率，且跨模型校准器能有效降低校准误差。
大语言模型（LLM）越来越多地被应用于结构化临床数据，但它们能否识别自身知识在这些任务中的局限性仍是一个未解之谜。一篇被EIML@ICML 2026接收的论文通过跨模型归因分歧（Cross-Model Attribution Divergence）的方式研究了这一问题，旨在减少结构化任务中的认知不确定性。研究者将Qwen 2.5 7B与XGBoost在一个预测任务上进行了比较，通过归因分歧分析得出了四项关键发现。
首先，LLM的口头置信度在认识论上是空洞的：无论准确率是49%还是75.3%，它都输出近乎恒定的数值（0.856–0.937），实际上追踪的是提示格式而非预测质量。其次，LLM表现出逆向难度效应：当XGBoost以99%的正确率判断时，LLM的准确率下降至64.8%；但当XGBoost中等不确定时，LLM的表现与之相当（73.8%对73.1%）。第三，少样本示例和SHAP导出的特征证据是正交且超可加的干预措施：它们将归因分歧得分（ADS）从1.54降至0.38，并在无需训练的情况下将准确率从49%提升至75.3%。第四，一个利用归因分歧信号判断LLM可靠性的跨模型校准器，将预期校准误差从0.254降至0.080，用患者特定的可靠性估计取代了无信息量的口头置信度，且无需访问模型内部或重复推理。
研究者将这些发现框定为LLM在结构化数据上的冷启动问题，并勾勒出一条通往真正认知自我意识的路径。该论文的作者包括Akshat Dasula等，于2026年6月17日提交至arXiv（编号2606.19509），并被EIML@ICML 2026接收。该研究为临床应用中LLM的可靠部署提供了重要启示，特别是在需要模型自知之明的场景下。