Apple 最新發布的 Siri Expressive Voices 功能實現了豐富、可配置語音的即時裝置端合成，其背後是 Apple 最強大的裝置端基礎模型 AFM 3 Core Advanced。本文介紹了支撐該能力的記憶體高效音訊合成架構：一種去分詞器，它將基礎模型生成的語義音訊令牌轉換為高保真音訊，同時滿足 Apple Matrix 協處理器（AMX）嚴格的計算和記憶體預算要求。
該去分詞器將語義音訊令牌轉換為殘差向量量化（RVQ）表示，採用三元件設計：流式編碼器、時間解碼器和深度解碼器。這種設計系統性地將時間處理和深度處理解耦。其中，深度解碼器是核心創新——它採用擴散變換器（DiT）風格的階段條件，能夠自迴歸地生成所有 RVQ 層級，從而取代了傳統多解碼器架構中每個層級專用的解碼器，極大地簡化了模型結構。此外，因果滑動視窗注意力結合固定視窗鍵值快取機制，使得記憶體複雜度保持恆定，不隨序列長度變化。
在 AMX 上部署時，該去分詞器每個生成步驟僅需約 10 毫秒，比即時處理速度快約 16 倍。其峰值執行時記憶體僅為約 21 MB，裝置端資產佔用 329 MB，這使得它能夠在裝置端基礎模型旁連續流式合成 20 至 320 秒的音訊。這種恆定且小巧的記憶體佔用，徹底改變了傳統基於變換器或 GAN 的方法中線性甚至二次增長的記憶體消耗模式。
全面的消融研究驗證了關鍵架構元件的有效性，包括 DiT 條件機制、時間前瞻處理以及統一深度解碼策略。透過音素可辨別性分析、感知質量指標和神經質量估計等音訊質量評估，證實了該架構在保持合成保真度的同時，相比現有方法實現了計算效率的提升。
目前，該架構已作為 Siri Expressive Voices 的一部分投入生產，為 Apple 裝置中的語速和表現力自定義滑塊以及自定義助手語音支援提供動力。它在 AFM 3 Core Advanced 中執行，啟用規模為 10 億引數。與之前的裝置端文本轉語音系統相比，其平均意見得分（MOS）總體提升 0.28（從 3.87 提升至 4.15），在對話語音場景中提升 0.42（從 3.82 提升至 4.24）。