DiScoFormer（Density and Score Transformer）は、入力されたデータポイントの集合から、分布の密度とスコアを一回の順伝播で同時に推定する革新的な機械学習モデルです。密度はデータが集中する領域を示し、スコアは密度の勾配として生成モデルやベイズサンプリングに利用されます。従来のカーネル密度推定（KDE）は訓練不要ですが高次元での精度が低く、ニューラルスコアマッチングモデルは高精度ですが分布ごとに再学習が必要でした。
DiScoFormerは、トランスフォーマーブロックの積み重ねとクロスアテンションを用いて、サンプル全体を密度とスコアにマッピングします。密度とスコアの数学的関係（スコアは対数密度の勾配）を活用し、共有バックボーンと二つの出力ヘッドを持ち、一貫性損失を導入することでラベルなしで未知分布に適応します。
数学的には、アテンションはKDEの一般化であり、単一のアテンションヘッドはガウスカーネルを近似できます。DiScoFormerはさらに複数のスケールを学習し、データに適応します。訓練にはガウス混合モデル（GMM）を使用し、各バッチで新しいGMMを生成して無限の訓練サンプルを提供します。
性能評価では、100次元で最適化されたKDEと比較してスコア誤差が約6.5倍、密度誤差が37倍以上改善され、サンプル数が増えるほど差が拡大します。また、訓練中に見られなかった多峰性や非ガウス分布（ラプラス分布、t分布）にも汎化します。KDEの唯一の利点は小データセットでの速度です。
DiScoFormerの最大の可能性は、スコア推定が生成モデリング、ベイズ推論、科学計算に共通する基盤である点です。事前学習済みで高次元でも精度を維持し、再学習不要な推定器は、これらの分野全体のコストを一度に削減できる可能性を秘めています。詳細は技術報告書をご参照ください。