プロンプトベースのテキスト読み上げ（TTS）モデルは自然言語によるスタイル制御を可能にするが、多くの場合、細かい制御が制限され、発話全体に単一のグローバルスタイルが適用される。これにより、発話間でスタイル属性を連続的に補間したり、1つの発話内で時間とともにスタイルを変化させる実用的なユースケースが制限されていた。本論文では、Jaehoon Kangら4人の著者により、既存のプロンプトベースTTSモデルにおいて、発話間スタイル補間と発話内スタイル遷移の両方を実現する新しい手法を提案する。これらの手法はモデルアーキテクチャの変更を必要としない。
発話間スタイル補間では、対照的なスタイルプロンプトの埋め込み空間における方向ベクトルを計算し、単純な線形補間を行うことで、スタイル特性間の滑らかな遷移を可能にする。この手法は性別変換、ピッチ調整、速度制御などの連続的なスタイル属性の調整に適用できる。実験の結果、性別変換の成功率は99%から100%に達し、ピッチ変化は最大36 Hz、速度変化は毎秒1.6音節に達した。これらの数値は、自然さを保ちながら高度に制御可能なスタイル変化を提供することを示している。
発話内スタイル遷移では、まず自己回帰型TTSデコーダにおいて初期トークンに対する強い注意力バイアスが存在し、最初の音声実現がその後の生成を支配することを特定した。この問題を緩和するため、KVキャッシュスワッピングとスライディングウィンドウアテンションマスキングを導入した。KVキャッシュスワッピングにより、デコード中にキーと値のペアを交換して後続の生成スタイルを変更し、スライディングウィンドウマスキングは現在の生成ステップが初期トークンに注意を向ける範囲を制限する。実験では、発話内遷移の話者類似度は0.81から0.91を維持し、知覚的滑らかさスコアは3.48から4.48（5点満点）を達成した。これは、スタイル遷移が自然で話者一貫性を損なわないことを示している。
これらの技術の導入により、既存のプロンプトベースTTSシステムの制御能力が大幅に拡張され、バーチャルアシスタントが会話のターンごとにトーンを調整したり、オーディオブックでキャラクターの会話スタイルを切り替えるなど、より柔軟なアプリケーションが可能になる。著者らは、これらの手法が再トレーニングやアーキテクチャ変更を必要としないため、展開が容易であると強調している。将来的には、他のTTSアーキテクチャへの応用や、リアルタイム性能向上のための注意力機構の最適化を検討している。