Apple 最新發布的 Siri Expressive Voices 功能實現了豐富、可配置語音的實時設備端合成，其背後是 Apple 最強大的設備端基礎模型 AFM 3 Core Advanced。本文介紹了支撐該能力的內存高效音頻合成架構：一種去分詞器，它將基礎模型生成的語義音頻令牌轉換為高保真音頻，同時滿足 Apple Matrix 協處理器（AMX）嚴格的計算和內存預算要求。
該去分詞器將語義音頻令牌轉換為殘差向量量化（RVQ）表示，採用三組件設計：流式編碼器、時間解碼器和深度解碼器。這種設計系統性地將時間處理和深度處理解耦。其中，深度解碼器是核心創新——它採用擴散變換器（DiT）風格的階段條件，能夠自迴歸地生成所有 RVQ 層級，從而取代了傳統多解碼器架構中每個層級專用的解碼器，極大地簡化了模型結構。此外，因果滑動窗口注意力結合固定窗口鍵值緩存機制，使得內存複雜度保持恆定，不隨序列長度變化。
在 AMX 上部署時，該去分詞器每個生成步驟僅需約 10 毫秒，比實時處理速度快約 16 倍。其峯值運行時內存僅為約 21 MB，設備端資產佔用 329 MB，這使得它能夠在設備端基礎模型旁連續流式合成 20 至 320 秒的音頻。這種恆定且小巧的內存佔用，徹底改變了傳統基於變換器或 GAN 的方法中線性甚至二次增長的內存消耗模式。
全面的消融研究驗證了關鍵架構組件的有效性，包括 DiT 條件機制、時間前瞻處理以及統一深度解碼策略。通過音素可辨別性分析、感知質量指標和神經質量估計等音頻質量評估，證實了該架構在保持合成保真度的同時，相比現有方法實現了計算效率的提升。
目前，該架構已作為 Siri Expressive Voices 的一部分投入生產，為 Apple 設備中的語速和表現力自定義滑塊以及自定義助手語音支持提供動力。它在 AFM 3 Core Advanced 中運行，激活規模為 10 億參數。與之前的設備端文本轉語音系統相比，其平均意見得分（MOS）總體提升 0.28（從 3.87 提升至 4.15），在對話語音場景中提升 0.42（從 3.82 提升至 4.24）。