共形予測(Conformal Prediction)は、創薬においてモデルの信頼性を定量化する手法として採用されつつある。誤り率αを設定すると、その手法は予測セットが少なくとも1-αの確率で真のラベルを含むことを保証する。しかし、最新の研究により、不均衡なデータセットではこの保証が危険であることが示された。arXivの論文(2607.06605)では、4つのデータセットを用いて、限界共形予測(Marginal Conformal Prediction)がグローバルな90%カバレッジ目標を達成する一方で、マイノリティクラスのカバレッジを著しく低下させることを明らかにした。
血液脳関門透過性予測では、マイノリティクラスの実効カバレッジは64.8%に低下し、臨床試験毒性予測では4.2%まで落ち込み、希少クラスはほぼ無視された。この失敗は特定のモデルに依存せず、ランダムフォレスト、グラフネットワーク、凍結化学言語モデルの全てで再現された(いずれもp<0.001)。失敗の深刻さはモデルアーキテクチャではなく、希少ラベルに対するベースラインの校正具合に依存することが判明した。
研究チームは保存恒等式を発見した。マイノリティの不足分は、マジョリティの超過分を不均衡比で増幅したものに等しく、この関係は測定されたギャップを1ポイント以内で予測し、データセット間で失敗の深刻度を順序付ける。この失敗は、現実的なスキャフォールド分割や代替の共形スコアを用いても再現され、全体の精度とカバレッジは安心できるほど高いままであるため、見逃されやすい。
解決策として、クラス条件付き(Mondrian)共形予測が提案された。これは各クラス内で独立に校正を行い、すべてのデータセットでマイノリティクラスのカバレッジを目標値に回復させる。予測セットのサイズは適度に増加するのみである。
失敗は主に、両方のクラスに出現する一般的な分子スキャフォールド(単純なベンゼンやピリジンコア)に局在することがわかった。研究者らは1つの数値で診断できる指標を提案し、コストモデルを用いて、影響を受ける化合物について予測を棄却することで、スクリーニングキャンペーンの正味効用が負から正に転じることを示した。本研究の貢献は、既知の共形理論のギャップが不均衡条件下でどの程度深刻かつ不可視になるかを実際の化学データで実証し、クラスごとの信頼性を回復する実用的なプロトコルを提供したことにある。