最優傳輸(Optimal Transport, OT)是機器學習中處理分佈匹配的基礎工具,而基於熵正則化的Sinkhorn演算法因其高效性被廣泛應用於生成模型、領域自適應等領域。然而,現有實現面臨兩個主要挑戰:一是在小正則化引數下數值不穩定,二是依賴深度學習框架(如PyTorch)引入額外計算開銷。近期,研究者Hao Xiao提出FastSinkhorn,一種輕量級、原生的CUDA實現,完全在對數域中執行,結合warp級洗牌歸約(warp-level shuffle reductions)與共享記憶體分塊(shared-memory tiling),在保證數值穩定性的同時實現了極高的GPU利用率。
FastSinkhorn的核心創新在於其全對數域計算策略。標準域方法在處理epsilon低至10^{-4}的正則化引數時會因數值下溢或溢位而失效,而對數域方法透過將對數空間中的加法轉化為對數域中的特殊運算,有效避免了這些問題。實驗表明,在稠密最優傳輸問題(n=m=8192)上,FastSinkhorn相比廣泛使用的POT庫實現了12倍加速,相較基於PyTorch的GPU基線也有5.9倍的提升,而GPU記憶體消耗僅256 MB,遠低於傳統實現。
為了驗證實用性,研究者在影像顏色遷移和3D點雲匹配等實際任務中測試了FastSinkhorn,並進行了收斂性分析。結果顯示,該演算法不僅速度快,而且收斂行為穩定。此外,FastSinkhorn的程式碼已在GitHub上開源,方便社群使用和擴充套件。這項研究證明,精心設計的原生CUDA核心結合周密的數值處理,可以為大規模最優傳輸計算提供既實用又高效的解決方案,為需要大規模OT的機器學習應用開闢了新可能性。