ZipTok3D：コンパクトなトークン接頭辞による高忠実度3Dトークン化
ZipTok3Dは、極めて短いトークン列でも高忠実度の3D再構築を実現する新しい3Dトークナイザーです。符号化後の潜在トークン列をランダムに切り詰める「ネスト化ドロップアウト」を用いて、主要な幾何情報を前方のトークンに集中させます。復号ではパラメータ共有のTransformerブロックを繰り返し適用し、追加の生成サンプリングなしで詳細な形状を復元します。同じトークン次元の条件下で、ZipTok3DはShapeNetでは1トークン、TRELLISでは4トークンで、32トークンのCOD-VAEベースラインに匹敵する再構成品質を達成し、トークン列をそれぞれ32倍・8倍短縮できます。
3D生成モデルでは、形状をトークン列として表現することが一般的ですが、トークン数が増えると計算コストも高くなります。arXivに投稿された新論文「ZipTok3D: High-Fidelity 3D Tokenization with Compact Token Prefixes」は、極端に短いトークン列でも高忠実度な再構築を可能にする3Dトークナイザーを提案しています。著者はMingda Lin氏を含む10名で、2026年9月1日にarXiv:2609.01740として投稿されました。論文は付録を含めて25ページ、図9点・表6点で構成されており、主題はComputer Vision and Pattern Recognition (cs.CV) に分類されています。
既存の3Dトークナイザーは、潜在表現を空間領域ごとに分割するか、固定サイズのグローバルトークン集合として符号化するのが一般的です。しかし前者はトークン数を減らすと空間解像度が不足し、後者は全情報を少数のベクトルに詰め込むため情報ボトルネックが生じます。その結果、トークン予算を極端に削ると、どちらの手法でも再構成品質が急激に劣化していました。特にリアルタイム生成や帯域制約のある環境では、できるだけ少ないトークンで高精細な形状を取り出すことが重要です。
ZipTok3Dの中心的なアイデアは、物体形状を「段階的に情報量が増えるグローバルトークン接頭辞（prefix）」として構成することにあります。エンコーダは形状を潜在トークン列に変換し、訓練中は「ネスト化ドロップアウト」により、後半部分をランダムに切り捨てます。その際、どの位置で切り捨てた場合でも、残った接頭辞だけから物体全体を再構築できるよう学習します。これにより、先頭トークンほど物体の全体的な構造や主要な特徴を表し、後続トークンが詳細な形状情報を補うという、粗密の階層構造が自然と形成されます。復号時には、パラメータを共有するTransformerブロックを同じ入力に繰り返し適用し、短い接頭辞から精細な幾何形状を順に復元します。従来手法のように別途生成用のサンプリング処理を用意する必要がないのも特徴です。
実験では、トークン次元を揃えた条件で、COD-VAEの32トークン出力をベースラインとして比較しました。ShapeNetデータセットではわずか1トークン、TRELLISデータセットでは4トークンで、32トークンのCOD-VAEと同等の再構成品質に到達しています。これはトークン列の長さをそれぞれ1/32、1/8に短縮できることを意味します。ZipTok3Dはあくまで「極短トークン列でも高い品質を維持する」ことが目的であり、同じトークン数で最高品質を出すというより、少ないトークンで実用的な再構成品質を実現する点に主眼が置かれています。