GPUアーキテクチャを横断する3D生成拡散モデルの性能分析と最適化

3D生成拡散モデルは、高忠実度の3D MRI合成において不可欠な技術となりつつあるが、その展開はサンプルあたり数百回のU-Net評価と高度に不均一なカーネル動作に起因する多大なGPUリソース要求によって制約されている。本論文では、最先端の医用拡散モデルMed-DDPMを対象に、NVIDIAの3世代にわたるGPUアーキテクチャで包括的な性能分析を実施した。分析では、カーネルレベルの実行時分解、命令ミックス特性、メモリシステム利用状況、ワープレベルアクティビティ、プロファイラーの優先度スコア推定を調査している。

その結果、トレーニングはcuDNN畳み込みと暗黙的GEMMカーネルによって圧倒的に支配されていることが示された。これらのカーネルでは、メモリアクセスパターン、テンソルレイアウト変換、および限られたTensor Core利用に起因する非効率性が存在する。例えば、不規則なメモリアクセスパターンは帯域幅の利用不足を引き起こし、頻繁なテンソルレイアウト変換はオーバーヘッドを増大させ、Tensor Coreの利用率はわずか1.45倍にとどまっている。

これらの知見に基づき、研究チームは2つのアーキテクチャ認識最適化を評価した：TF32 Tensor Coreの有効化と3D channels-lastレイアウトの採用である。TF32 Tensor Coreは精度を低下させるがFP32と同等の動的範囲を維持することで畳み込みや行列演算を高速化する。Channels-lastレイアウトはデータのメモリ配置を最適化し、データ再配置のオーバーヘッドを削減する。実験の結果、A100 GPUにおいてSMサイクルが最大100倍削減、動的命令が100倍削減、Tensor Core利用率が1.45倍から9.98倍に向上、IPCが7%向上した。さらに、これらの最適化は合成品質をまったく低下させない。

本研究は、Med-DDPMの効率的な展開に向けた具体的な指針を提供するとともに、他の3D生成拡散モデルの性能最適化にも応用可能な方法論を示している。GPUアーキテクチャの進化に伴い、同様の適応的最適化戦略は医用画像処理や生成AIタスクにおいてますます重要な役割を果たすであろう。