Bunraku：一枚のイラストを編集可能なLive2Dキャラクターに変換
本研究は、単一のイラストからLive2Dランタイムが必要とするすべての構造化情報（順序付きRGBAレイヤー、レイヤーごとの変形メッシュ、パラメータ駆動のキーポーズ頂点オフセット）を初めてエンドツーエンドで生成するシステム「Bunraku」を提案する。レイヤー拡散と全レイヤー合同予測により、一貫性のあるキャラクターを生成し、ベンチマーク「Live2D-Bench」と8,884モデルのコーパスも公開した。
Live2Dは、アニメキャラクターやバーチャルアバターの2Dキャラクターアニメーション形式として広く採用されている。各キャラクターは、レイヤーごとのメッシュ変形によって駆動されるRGBAレイヤーのスタックとして表現される。バーチャル配信、モバイルゲーム、インタラクティブキャラクターなどで幅広く使われている一方で、Live2Dモデルの制作は今なお手作業が中心だ。レイヤー分離、オクルージョン補完、メッシュ配置、キーフレーム設定を手作業で行う必要があり、数週間を要することも珍しくない。さらに、これまでの生成手法では、このような構造化アセットをエンドツーエンドで生成することはできなかった。
研究チームは、この課題に取り組むため、単一のイラストからLive2Dランタイムが消費するすべての構造化情報を生成する初のシステム「Bunraku」を提案した。具体的には、順序付きRGBAレイヤー、レイヤーごとの変形メッシュ、キャラクターを動かすためのパラメータ駆動のキーポーズ頂点オフセットを生成する。システムは2段階で構成される。第1段階では、レイヤー分解をLive2D対応の器官レベル分類法に基づくレイヤー拡散プロセスとして捉え、隠れ領域の補完を伴う順序付きRGBAスタックを生成する。第2段階では、各レイヤーのアルファチャンネルのみからコンテンツに適合する三角形メッシュを構築し、続いて全レイヤーのキーポーズ変位場を合同で予測する。すべてのレイヤーのすべての頂点が1つのトークンとして扱われ、自己注意はレイヤー境界をまたぐ。各変位は有界な方向と対数スケールの大きさに分解される。
実験では、独立に予測するのではなく合同で予測することが、バラバラに妥当な部品ではなく一貫性のあるキャラクターを生み出す鍵であり、最大の改善要因であることが示された。ネットワーク規模を112倍に拡張しても性能は向上しなかった。50の保留キャラクターを使い、教師強制なしの真の生成設定では、第2段階の頂点ごとの方向コサイン類似度は0.768（中央値0.828）を達成した。レイヤーのメッシュがアルファチャンネルから派生するという特性により、衣類レイヤーは自然言語の指示で再テクスチャリングでき、その際もメッシュと予測済みアニメーションはバイト単位で再利用できる。
さらに、このタスクにおける初の標準ベンチマーク「Live2D-Bench」と、レイヤーおよびアニメーションの監視情報を含む8,884モデルのLive2Dコーパスも公開された。これらのリソースは、Live2D自動生成の研究を加速し、今後の標準的な評価基盤となることが期待される。