本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

ワープレベルGPUリダクションを用いた高速対数領域Sinkhorn最適輸送

記事の要約

FastSinkhornは、エントロピー正則化最適輸送のための対数領域Sinkhornアルゴリズムの軽量なネイティブCUDA実装であり、密なOT問題でPOTに対して12倍、PyTorchに対して5.9倍の高速化を達成し、GPUメモリは256MBのみである。

ソースarXiv Machine Learning著者: Hao Xiao
ワープレベルGPUリダクションを用いた高速対数領域Sinkhorn最適輸送
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

最適輸送(Optimal Transport, OT)は機械学習における分布間のマッチングの基本的なツールであり、エントロピー正則化に基づくSinkhornアルゴリズムはその効率性から生成モデルやドメイン適応などで広く使われている。しかし、既存の実装は小さな正則化パラメータでの数値的不安定性や、深層学習フレームワークに依存することによるオーバーヘッドに悩まされていた。最近、研究者Hao XiaoはFastSinkhornを提案した。これは対数領域で完全に動作する軽量なネイティブCUDA実装であり、ワープレベルのシャッフルリダクションと共有メモリタイリングを組み合わせることで、数値安定性を維持しつつ高いGPU利用率を実現する。

FastSinkhornの主な革新は、完全な対数領域計算にある。標準領域の手法ではepsilon=10^{-4}のような小さな正則化パラメータで数値誤差が生じるが、対数領域では安定に計算できる。密なOT問題(n=m=8192)において、FastSinkhornは広く使われているPOTライブラリに対して12倍、PyTorchベースのGPUベースラインに対して5.9倍の高速化を達成し、GPUメモリ消費はわずか256MBである。

実用性を検証するため、画像の色変換、3D点群マッチング、収束解析に適用した結果、高速かつ安定した収束が確認された。FastSinkhornのコードはGitHubで公開されており、コミュニティによる利用と拡張が可能である。この研究は、注意深く設計されたネイティブCUDAカーネルと数値処理が大規模OT計算に実用的で効率的な基盤を提供することを示している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 純粋なCUDA実装の対数領域Sinkhorn、epsilon=1e-4をサポート。
  • 8192×8192の密問題でPOT比12倍、PyTorch比5.9倍の高速化。
  • ワープレベルリダクションと共有メモリタイリングによりGPUメモリ256MB。
  • 画像色変換、3D点群マッチングで有効性確認。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。