長尾胸部X光分類中的閾值下亞組漏診：誰被遺漏了？
研究表明，在胸部X光分類中，即使排名效能可接受，罕見陽性患者仍可能因閾值而被漏診，尤其在亞組中。透過診斷階梯方法，結合分組尾部加權和閾值調整，顯著降低了尾部假陰性率，但殘餘漏診率仍較高。公平性取決於發現、亞組和操作閾值的聯合影響，而非僅標籤頻率或排名指標。
在胸部X光（CXR）分類任務中，模型通常透過排名效能來評估，但一項新研究發現，即使排名表現可接受，仍然可能遺漏罕見陽性病例，尤其是在特定亞組中。這項研究由Ha-Hieu Pham等人進行，並發表在arXiv上，探討了在長尾多標籤CXR模型從得分轉化為決策時，哪些患者被漏診的問題。
研究人員將這個問題視為部署前的公平性審計問題，並使用診斷階梯方法，分別處理類級長尾損失、亞組感知加權、群體魯棒性和閾值選擇。他們在VinDr-CXR和MIMIC-CXR/CXR-LT資料集上進行了實驗。在VinDr-CXR上，透過分組尾部加權後進行尾部感知閾值調整，尾部假陰性率（FNR）從0.665降至0.269，性別最差亞組FNR從0.705降至0.157，年齡最差亞組FNR從0.822降至0.133，同時宏平均平均精度（macro-mAP）從0.611提升至0.635。
在MIMIC-CXR/CXR-LT上，同樣的得分到閾值比較方法將尾部FNR從0.866降至0.741，並降低了性別、年齡、種族和保險型別的最差亞組FNR。然而，殘餘的漏診陽性率仍然很高。透過在VinDr上進行配對bootstrap對比，支援了閾值化FNR的降低效果，而GroupDRO參考執行表明，僅靠聚合群體魯棒性並不能消除罕見亞組的漏診。
研究支援一個狹窄的審計宣告：在CXR中，稀有標籤的公平性取決於發現、亞組和操作閾值的聯合影響，而不是僅依賴於標籤頻率或排名指標。這項研究強調了在模型部署前考慮閾值選擇的重要性，以確保公平性並減少亞組間的漏診差異。
這一發現對臨床部署具有重要意義。模型開發者不應僅關注聚合指標如平均精度，而應針對不同亞組和疾病發現進行細緻的閾值調整。研究建議，在長尾分佈下，公平性審計應包含閾值分析，而不僅僅是排名評估。此外，研究還指出，常用的群體魯棒性方法如GroupDRO並不能完全解決亞組漏診問題，需要結合尾部加權和閾值調整等多步驟策略。