複数の研究機関からなる研究チームは、事前学習済みの3D基盤モデルを製品化可能な高品質3Dキャラクター生成へと変換する軽量フレームワーク「DreamCharacter-1」を提案した。このフレームワークは、従来のスクラッチからのトレーニングや大規模なファインチューニングとは異なり、既存の3D基盤バックボーンネットワークに3つのタスク指向コンポーネントを追加することで性能を向上させる軽量後適応手法を採用している。
最初のコンポーネントは幾何後トレーニングモジュールである。このモジュールは幾何学的嗜好最適化技術を用いて、キャラクター表面の微細な幾何学的ディテールを大幅に向上させる。例えば、より精巧な凹凸、しわ、筋肉のラインなどの特徴を生成可能にし、キャラクターの外観をよりリアルで生き生きとしたものにする。2つ目のコンポーネントはテクスチャ後トレーニングモジュールであり、高解像度のテクスチャマップを合成し、元の基盤モデルで不鮮明になりがちな脇の下、耳の後ろ、指の間などの遮蔽領域の外観を特に改善する。これにより、キャラクターはあらゆる角度から一貫したリアルな外観を持つ。3つ目のコンポーネントは推論高速化モジュールであり、複数の最適化技術を統合することで、実際のアプリケーションでの高速推論と高度にスケーラブルな展開を実現し、産業レベルの要求を満たす。
実験では、研究チームは複数の公開データセットを用いて包括的な定量的・定性的評価を実施した。評価指標には、視覚品質、幾何学的完全性、テクスチャのリアリティ、生成速度などが含まれる。結果は、DreamCharacter-1が生成する3Dキャラクターアセットが、あらゆる面で現在の最先端手法を有意に上回ることを示した。例えば、ユーザー調査では、DreamCharacter-1が生成したキャラクターは視覚的魅力でより高い評価を得た。幾何学的精度テストでも、表面ディテールの忠実度が明らかにリードした。この研究は、3Dキャラクター生成を学術研究から実際の製品応用へと橋渡しする実現可能な技術経路を提供し、ゲーム、映画、バーチャルリアリティなどの分野で重要な役割を果たすことが期待される。