长尾胸部X光分类中的阈值下亚组漏诊：谁被遗漏了？
研究表明，在胸部X光分类中，即使排名性能可接受，罕见阳性患者仍可能因阈值而被漏诊，尤其在亚组中。通过诊断阶梯方法，结合分组尾部加权和阈值调整，显著降低了尾部假阴性率，但残余漏诊率仍较高。公平性取决于发现、亚组和操作阈值的联合影响，而非仅标签频率或排名指标。
在胸部X光（CXR）分类任务中，模型通常通过排名性能来评估，但一项新研究发现，即使排名表现可接受，仍然可能遗漏罕见阳性病例，尤其是在特定亚组中。这项研究由Ha-Hieu Pham等人进行，并发表在arXiv上，探讨了在长尾多标签CXR模型从得分转化为决策时，哪些患者被漏诊的问题。
研究人员将这个问题视为部署前的公平性审计问题，并使用诊断阶梯方法，分别处理类级长尾损失、亚组感知加权、群体鲁棒性和阈值选择。他们在VinDr-CXR和MIMIC-CXR/CXR-LT数据集上进行了实验。在VinDr-CXR上，通过分组尾部加权后进行尾部感知阈值调整，尾部假阴性率（FNR）从0.665降至0.269，性别最差亚组FNR从0.705降至0.157，年龄最差亚组FNR从0.822降至0.133，同时宏平均平均精度（macro-mAP）从0.611提升至0.635。
在MIMIC-CXR/CXR-LT上，同样的得分到阈值比较方法将尾部FNR从0.866降至0.741，并降低了性别、年龄、种族和保险类型的最差亚组FNR。然而，残余的漏诊阳性率仍然很高。通过在VinDr上进行配对bootstrap对比，支持了阈值化FNR的降低效果，而GroupDRO参考运行表明，仅靠聚合群体鲁棒性并不能消除罕见亚组的漏诊。
研究支持一个狭窄的审计声明：在CXR中，稀有标签的公平性取决于发现、亚组和操作阈值的联合影响，而不是仅依赖于标签频率或排名指标。这项研究强调了在模型部署前考虑阈值选择的重要性，以确保公平性并减少亚组间的漏诊差异。
这一发现对临床部署具有重要意义。模型开发者不应仅关注聚合指标如平均精度，而应针对不同亚组和疾病发现进行细致的阈值调整。研究建议，在长尾分布下，公平性审计应包含阈值分析，而不仅仅是排名评估。此外，研究还指出，常用的群体鲁棒性方法如GroupDRO并不能完全解决亚组漏诊问题，需要结合尾部加权和阈值调整等多步骤策略。