跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

基於Warp級GPU歸約的快速對數域Sinkhorn最優傳輸

文章摘要

FastSinkhorn是一種純CUDA實現的對數域Sinkhorn算法,通過warp級洗牌歸約和共享內存分塊技術,在極小正則化參數下保持數值穩定性,並在稠密最優傳輸問題中實現12倍加速。

來源arXiv Machine Learning作者: Hao Xiao
基於Warp級GPU歸約的快速對數域Sinkhorn最優傳輸
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

最優傳輸(Optimal Transport, OT)是機器學習中處理分佈匹配的基礎工具,而基於熵正則化的Sinkhorn算法因其高效性被廣泛應用於生成模型、領域自適應等領域。然而,現有實現面臨兩個主要挑戰:一是在小正則化參數下數值不穩定,二是依賴深度學習框架(如PyTorch)引入額外計算開銷。近期,研究者Hao Xiao提出FastSinkhorn,一種輕量級、原生的CUDA實現,完全在對數域中運行,結合warp級洗牌歸約(warp-level shuffle reductions)與共享內存分塊(shared-memory tiling),在保證數值穩定性的同時實現了極高的GPU利用率。

FastSinkhorn的核心創新在於其全對數域計算策略。標準域方法在處理epsilon低至10^{-4}的正則化參數時會因數值下溢或溢出而失效,而對數域方法通過將對數空間中的加法轉化為對數域中的特殊運算,有效避免了這些問題。實驗表明,在稠密最優傳輸問題(n=m=8192)上,FastSinkhorn相比廣泛使用的POT庫實現了12倍加速,相較基於PyTorch的GPU基線也有5.9倍的提升,而GPU內存消耗僅256 MB,遠低於傳統實現。

為了驗證實用性,研究者在圖像顏色遷移和3D點雲匹配等實際任務中測試了FastSinkhorn,並進行了收斂性分析。結果顯示,該算法不僅速度快,而且收斂行為穩定。此外,FastSinkhorn的代碼已在GitHub上開源,方便社區使用和擴展。這項研究證明,精心設計的原生CUDA內核結合周密的數值處理,可以為大規模最優傳輸計算提供既實用又高效的解決方案,為需要大規模OT的機器學習應用開闢了新可能性。

展開要點與分析

文章情報

工程師進階

要點

  • FastSinkhorn完全運行於對數域,支持epsilon=10^{-4}的極小正則化參數。
  • 在8192×8192稠密問題中,相比POT庫加速12倍,相比PyTorch GPU基線加速5.9倍。
  • GPU內存消耗僅256 MB,通過warp級歸約和共享內存分塊優化。
  • 在圖像顏色遷移、3D點雲匹配等任務中驗證了有效性。

技術影響

可能影響 GPU、推理集羣、算力成本和供應鏈規劃。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。