arXivから新しい論文が公開され、Wan-Streamer v0.1が提案された。これは、リアルタイムかつ低遅延の全二重音声視覚インタラクションを目指して設計された、ネイティブストリーミングのエンドツーエンド対話型基盤モデルである。従来のカスケード型対話システムのように複数の独立モジュールを組み合わせるのではなく、言語・音声・映像を入力と出力の両方として単一のTransformer内で統合的にモデル化する点が特徴だ。モデルの系列は、視覚・音声・テキストの入力トークンと出力トークンが交互に配置され、ブロック因果注意機構によって調整されることで、インクリメンタルなストリーミング処理を可能にしている。
従来の対話システムは、音声活動検出（VAD）、自動音声認識（ASR）、言語モデル、テキスト音声合成（TTS）、音声駆動アニメーション、映像生成といった複数の独立モジュールを直列に接続する必要があった。Wan-Streamerはこうしたアーキテクチャを完全に排除し、外部の言語・音声・アバター・映像生成モジュールに一切依存しない。知覚、推論、生成、応答タイミング、ターン管理、クロスモーダル同期のすべてが単一の統合モデル内で共同学習され、パイプライン遅延と誤差蓄積が大幅に削減される。
自然な音声視覚応答を実現するため、研究チームは因果エンコーダ、因果デコーダ、ブロック因果注意、低遅延マルチモーダルトークンスケジューリングを含む技術スタック全体をストリーミング可能な設計に再構築した。これにより、25 fpsで最短160ミリ秒のストリーミング単位が実現される。性能面では、Wan-Streamerは約200ミリ秒のモデル側応答遅延を達成し、350ミリ秒の双方向ネットワーク遅延と組み合わせた場合の総対話遅延は約550ミリ秒となり、サブ秒の全二重音声視覚通信をサポートする。
本論文はLianghua Huang氏ら24名の著者によって2026年6月23日にarXivに提出され、コンピュータビジョンとパターン認識（cs.CV）に分類されつつ、人工知能（cs.AI）、グラフィックス（cs.GR）、音響（cs.SD）にもまたがる学際的な内容となっている。論文ではプロジェクトウェブサイトへのリンクも提供されている。これらの結果は、Wan-Streamerが低遅延ストリーミングインタラクションのための統合されたエンドツーエンドのマルチモーダル対話型基盤モデルとして、リアルタイムデジタルヒューマンや遠隔会議、没入型通信などの応用を前進させる可能性を示している。