Apple は最新の Siri Expressive Voices 機能を発表しました。この機能は、リアルタイムかつ完全にオンデバイスでリッチで設定可能な音声を合成します。その中核をなすのは、Apple の最も強力なオンデバイス基盤モデル AFM 3 Core Advanced です。本稿では、その能力を支えるメモリ効率的な音声合成アーキテクチャ、すなわちデトークナイザを紹介します。このデトークナイザは、基盤モデルから出力されるセマンティック音声トークンを、Apple Matrix コプロセッサ（AMX）の厳しい計算・メモリ予算内で高忠実度の音声に変換します。
デトークナイザは、セマンティック音声トークンを残差ベクトル量子化（RVQ）表現に変換します。その設計は3つのコンポーネントからなります：ストリーミングエンコーダ、時間デコーダ、深度デコーダです。この設計により、時間処理と深度処理が体系的に分離されます。特に深度デコーダは革新的で、拡散トランスフォーマー（DiT）スタイルのステージ条件付けを採用し、すべての RVQ レベルを自己回帰的に生成します。これにより、従来のマルチデコーダアーキテクチャで必要だったレベルごとの専用デコーダが不要になり、モデル構造が大幅に簡素化されます。さらに、因果的スライディングウィンドウアテンションと固定ウィンドウキーバリューキャッシュにより、メモリ複雑性はシーケンス長に依存せず一定となります。
AMX 上での展開において、デトークナイザは1生成ステップあたり約10ミリ秒（リアルタイム比約16倍高速）を維持し、ピーク実行時メモリは約21MB、オンデバイスアセットは329MBです。これにより、オンデバイス基盤モデルと並行して20〜320秒の音声を連続ストリーミング合成することが可能です。このような一定で小さなフットプリントは、従来のトランスフォーマーやGANベースのアプローチに見られる線形または二次的なメモリスケーリングを置き換えるものです。
広範なアブレーション研究により、DiT 条件付けメカニズム、時間的先読み処理、統一された深度デコーディング戦略など、主要なアーキテクチャコンポーネントの有効性が検証されています。音素弁別性分析、知覚品質指標、ニューラル品質推定による音声品質評価では、提案アーキテクチャが合成忠実度を維持しながら、既存手法よりも計算効率を向上させることが確認されました。
現在、このアーキテクチャは Siri Expressive Voices の一部として本番環境に展開されており、Apple デバイスにおける話速と表現力のカスタマイズスライダーやカスタムアシスタント音声を支えています。AFM 3 Core Advanced（10億パラメータ活性化サイズ）内で動作し、従来のオンデバイステキスト音声合成システムと比較して、平均オピニオン評点（MOS）を全体で+0.28（4.15 vs. 3.87）、会話音声で+0.42（4.24 vs. 3.82）改善しています。