AI News HubLIVE
站內改寫2 分鐘閱讀

校準虛擬篩選中的無聲失敗:邊際共形預測對少數類的覆蓋不足,以及基於類別的修正方案

研究表明,在藥物發現中使用的邊際共形預測在類別不平衡資料集上會嚴重低估少數類的覆蓋機率,而類別條件(Mondrian)共形預測能有效恢復。

來源arXiv Machine Learning作者: Muhammadjon Tursunbadalov (School of Science and Technology, Champions College Prep, United States), Mustafojon Tursunbadalov (School of Science and Technology, Champions College Prep, United States)

共形預測(Conformal Prediction)正被廣泛應用於藥物發現領域,為模型可靠性提供可量化的保證:設定錯誤率α,該方法返回的預測集以至少1-α的機率包含真實標籤。然而,最新研究顯示,在類別不平衡的資料集上,這一保證可能帶來嚴重隱患。來自arXiv的一篇論文(2607.06605)透過四個真實化學資料集揭示了邊際共形預測(Marginal Conformal Prediction)在全域性覆蓋率達標的同時,對少數類的覆蓋嚴重不足。

在血腦屏障滲透性預測任務中,少數類(即能夠穿透血腦屏障的化合物)的實際覆蓋率僅為64.8%,遠低於目標90%;而在臨床試驗毒性預測中,少數類(毒性化合物)的覆蓋率更是暴跌至4.2%,幾乎被完全忽略。令人警醒的是,這種失敗並非特定於某個模型:隨機森林、圖神經網路以及凍結的化學語言模型均重現了這一結果(p值均小於0.001)。研究指出,失敗的嚴重程度與模型在少數類上的基礎校準水平相關,而非模型架構本身。

研究團隊揭示了一個守恆恆等式:少數類的覆蓋率缺口等於多數類的超額覆蓋率乘以不平衡比率。這一關係能夠以1個百分點以內的誤差預測實際測量差距,並在不同資料集間排序失敗嚴重性。更隱蔽的是,即使採用嚴格的骨架劃分(scaffold splits)和替代共形分數,該失敗依然存在。與此同時,聚合準確率和總體覆蓋率仍保持令人安心的水平——這正是該問題容易被忽視的原因。

為解決這一問題,論文提出採用類別條件(Mondrian)共形預測。該方法在每個類別內部獨立進行校準,從而修復了覆蓋缺口。實驗表明,Mondrian共形預測在所有資料集上均恢復了少數類的目標覆蓋率,僅以預測集大小的適度增加為代價。

進一步分析發現,失敗主要發生在通用的分子骨架(如普通苯環和吡啶核)上——這些骨架在兩類化合物中均有出現。研究者提出了一個單數值診斷指標,並透過成本模型證明:對受影響化合物放棄預測(即拒絕做出判斷)可將篩選活動的淨效用從負值轉變為正值。該研究的貢獻在於,首次在真實化學資料上展示了已知共形理論缺陷在不平衡條件下的嚴重性和隱蔽性,並提供了恢復每類可靠性的實用協議。