胸部X線(CXR)分類タスクでは、モデルは通常ランキング性能で評価されるが、新たな研究により、ランキング性能が許容可能であっても、特に特定のサブグループにおいて希少陽性症例が見逃される可能性があることが明らかになった。Ha-Hieu Phamらによるこの研究はarXivで発表され、長尾マルチラベルCXRモデルがスコアから決定に変換される際に、どの患者が見逃されるかを調査している。
研究者らはこの問題をデプロイ前の公平性監査問題と位置づけ、クラスレベルの長尾損失、サブグループ認識重み付け、グループロバスト性、閾値選択をそれぞれ扱う診断ラダー手法を使用した。実験はVinDr-CXRおよびMIMIC-CXR/CXR-LTデータセットで行われた。VinDr-CXRでは、グループテール重み付けとそれに続くテール認識閾値調整により、テール偽陰性率(FNR)が0.665から0.269に、性別最悪サブグループFNRが0.705から0.157に、年齢最悪サブグループFNRが0.822から0.133に低下し、マクロ平均平均精度(macro-mAP)は0.611から0.635に向上した。
MIMIC-CXR/CXR-LTでは、同じスコアから閾値への比較手法により、テールFNRが0.866から0.741に低下し、性別、年齢、人種、保険タイプにわたる最悪サブグループFNRが改善された。しかし、残存見逃し率は依然として高かった。VinDrでのペアブートストラップ対比により、閾値化FNRの低減が支持され、GroupDRO参照実行は、集約グループロバスト性だけではこの設定における希少サブグループの見逃しを除去できないことを示した。
この研究は、狭義の監査主張を支持する:CXRにおける希少ラベルの公平性は、ラベル頻度やランキング指標だけではなく、所見、サブグループ、動作閾値に共同で依存する。この研究は、公平性を確保しサブグループ間の見逃し差を減らすために、モデルデプロイ前に閾値選択を考慮することの重要性を強調している。
この発見は臨床展開において重要な意味を持つ。モデル開発者は平均精度などの集約指標だけでなく、異なるサブグループや疾患所見に対して細かい閾値調整を行うべきである。研究は、長尾分布下では公平性監査に閾値分析を含めるべきであり、ランキング評価だけでは不十分であると示唆する。さらに、GroupDROなどの一般的なグループロバスト性手法だけではサブグループの見逃し問題を完全には解決できず、テール重み付けと閾値調整を組み合わせた多段階戦略が必要である。