本文にスキップ
AI News HubLIVE
サイト内リライト3 分で読了

DiScoFormer:密度とスコアを同時に推定する単一のTransformer、分布を超えて

記事の要約

DiScoFormerは、データサンプルから分布の密度とスコアを1回のフォワードパスで推定するTransformerベースのモデルです。新しい分布ごとに再トレーニングする必要がなく、KDEの汎用性とニューラルネットワークの精度を兼ね備え、高次元でKDEを大幅に上回ります。

DiScoFormer:密度とスコアを同時に推定する単一のTransformer、分布を超えて
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

機械学習や科学における多くの問題は、同じタスクに帰着します。データ点の集合が与えられたとき、それらが従う分布を復元することです。どの値が一般的で、どの値が稀かを知ることです。その分布を特定するには、2つの量を推定する必要があります。分布の密度と、次元が高くなるほど有用なスコアです。密度はヒストグラムの滑らかなバージョンで、点が密集している場所では高く、疎な場所では低くなります。スコアは密度の対数の勾配であり、密度が最も急に上昇する方向を指します。スコアに沿って点を移動させると、より確率の高い領域に向かいます。

拡散ベースの生成モデル(Stable DiffusionやDALL-EなどのAI画像生成器の背後にある技術)は、ランダムノイズから始めてスコアを繰り返し追跡し、そのノイズをリアルな画像に変換します。同じスコアは、ベイズサンプリングや、プラズマなどのシステムをモデル化する粒子シミュレーションも駆動します。

有限のサンプルから密度とスコアを抽出することは困難であり、現在のツールは汎用性と精度の間のトレードオフを強います。古典的なアプローチの1つであるカーネル密度推定(KDE)は、周囲のデータ点から任意の位置の密度を計算します。点が近くに多くあるほど密度が高くなります。トレーニングは不要で任意の分布に適用できますが、次元が高くなるにつれて精度が急激に低下します。一方、スコアを予測するように訓練されたニューラルスコアマッチングモデルは、高次元でも精度を維持しますが、各モデルは1つの分布を学習する必要があり、別の分布には最初から再トレーニングが必要です。

私たちは、DiScoFormer(Density and Score Transformer)と呼ばれる新しいソリューションを提案します。これは、データ点の集合が与えられると、再トレーニングなしで1回のフォワードパスで分布の密度とスコアの両方を推定する単一のモデルです。

DiScoFormerは、積み重ねられたTransformerブロックを使用して、サンプル全体をその背後にある分布の密度とスコアにマッピングします。モデルはクロスアテンションを利用して、データがある場所だけでなく、任意の点で密度とスコアを評価できます。スコアと密度は数学的な関係を共有します。スコアは密度の対数の勾配です。これを活用して、共有バックボーンと2つの出力ヘッド(密度用とスコア用)を備えています。

この結合はパラメータを節約するだけではありません。スコアヘッドは各クエリで対数密度ヘッドの勾配と一致する必要があるため、それらの間のギャップはラベルなしの整合性損失となります。推論時にこれを使用します。コンテキストを固定し、その整合性損失で数ステップの勾配降下を行うと、DiScoFormerはその場で分布外入力に適応します。真の密度やスコアは不要です。

Transformerアーキテクチャがこのタスクに適しているのには数学的な理由があります。カーネル密度推定には単一の帯域幅があり、各点の影響範囲は事前に固定され、どこでも同じように適用されます。アテンションはその厳密な一般化です。単一のアテンションヘッドの重みはデータ上のほぼガウスカーネルであることを分析的に示します。したがって、1つのクロスアテンションブロックでKDEの密度とスコアを再現できます。そこからモデルはさらに進み、そのような複数のスケールを同時に学習し、データに適応させます。DiScoFormerは古典的な方法をブラックボックスに置き換えるのではなく、KDEを特殊ケースとして含み、それを改善します。

DiScoFormerのトレーニングにはガウス混合モデル(GMM)を使用しました。2つの主な理由があります。第一に、GMMは普遍的な密度近似器であり、十分な成分があれば任意の滑らかな分布を任意の小さな誤差で一致させることができます。第二に、GMMは閉形式の密度とスコアを持つため、常に正確な目標で監督できます。これらの特性を利用して、バッチごとに新しいGMMを抽出し、モデルに事実上無限の目標分布の例を提供し、各GMMの正確な密度とスコアに対して監督します。

性能面では、DiScoFormerは密度とスコアの推定の両方でKDEを全面的に上回り、KDEが苦戦する場所でその差はまさに広がります。100次元では、最良の手動調整KDEと比較して、スコア誤差を約6.5倍、密度誤差を37倍以上削減し、サンプルを追加するにつれて改善し続けますが、KDEはメモリ不足になります。また、トレーニングデータのはるか外側でも正確であり、トレーニング中に見たよりも多くのモードを持つ混合分布や、ラプラス分布やスチューデントt分布などの非ガウス形状でも正確です。KDEの主な利点は依然として速度であり、特にデータセットが小さい場合に顕著です。

DiScoFormerの最も有望な点は、スコア推定が生成モデリング、ベイズ推論、科学計算など多くの分野で共有される依存関係であることです。高次元で正確であり続け、問題ごとの再トレーニングの必要性を排除する事前トレーニング済みのプラグイン推定器は、これらすべての分野でコストを一度に削減できます。1つのモデルを、スコアと密度が現れるあらゆる場所で再利用できます。

詳細については、技術レポートを読むことをお勧めします。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • DiScoFormerは共有バックボーンと2つの出力ヘッドを使用し、密度とスコアを同時に出力します。スコアと対数密度の勾配関係を整合性損失として活用します。
  • 100次元では、最高のKDEと比較してスコア誤差を約6.5倍、密度誤差を37倍以上削減します。
  • モデルは訓練分布外(非ガウス形状やより多くのモードを持つ混合分布)でも正確であり、推論時の整合性微調整により新しい分布に適応できます。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。