arXiv に投稿された論文 AudioLift は、音声を入力として1枚の肖像画像から全頭の3Dトーキングアバターを生成するフレームワークを提案している。著者は Zhuoyuan Jiang ら5名で、カテゴリはコンピュータビジョンとパターン認識（cs.CV）。2026年10月22日に初版が提出され、識別子は arXiv:2610.31747v1、プロジェクトページへのリンクも示されている。
論文が指摘するのは、既存の3Dトーキングアバター手法の多くが 3DMM や FLAME といったパラメトリック顔モデルに依存している点である。これらのモデルはコンパクトな運動表現を持ち、駆動や制御が容易である一方、表現力の面で制約がある。第一に、極端に大きな表情を合成することが難しい。第二に、帽子などの頭飾りをモデル化できず、生成結果が顔領域に限定されがちである。
AudioLift の発想は、中間表現そのものを変えることにある。パラメトリック顔モデルの係数を介するのではなく、生成したマルチビュー動画を音声と3Dアバターの橋渡しに使う。処理は2段階で構成される。前半では、入力音声と1枚の肖像画像から、時間的に同期し視点が相補的な複数の動画を生成する。後半では、不整合に対して頑健なガウシアン再構成により、複数視点の動画情報を一貫した全頭形状へと統合し、レンダリング可能なガウシアン表現のアバターを構築する。
この設計の利点は、パラメトリックモデルが不要で、インスタンスごとの最適化も必要としない点にある。導入コストが下がり、汎化性能も高まると考えられる。また、中間表現が正面1視点ではなく複数視点をカバーする動画であるため、1枚の肖像画像から頭頂部、後頭部、頭飾りなど従来は見落とされがちな領域を含む、より完全な頭部形状を復元できる。
著者によれば、広範な実験の結果、AudioLift が生成する3Dトーキングアバターは既存手法よりも極端な表情を捉えられ、形状の完全性が高く、360度すべての観察範囲でマルチビューの一貫性を維持できることが示された。これは、ユーザーが横や後ろからアバターを見ても、破綻や不自然な切り替わりが起きにくいことを意味する。