最近、研究者らはGRAFT（Grafted Reference Audio for Fine-grained Pronunciation）と呼ばれる新しいテキスト音声合成（TTS）システムを提案した。これは、既存のゼロショットTTSモデルが稀な固有名詞や外来語、専門用語の発音に苦手とすることに対処するものである。GRAFTは、ニューラルコーデック言語モデルに対して単語単位の発音調整機構を導入し、短い参照音声サンプルから特定単語の正しい発音を学習し、生成音声にシームレスに組み込むことを可能にする。
GRAFTの中核は「接ぎ木」メカニズムである。まず、モデル自身の音声トークナイザで参照音声サンプルを符号化し、その情報をプロンプト内の対象単語の位置にバインドすることで、生成時にその単語の発音を精密に制御する。参照音声の柔軟性を確保するため、訓練データ構築時に音声変換技術を導入し、ヒント話者の音色をターゲット話者から分離する。これにより、参照音声が全く異なる話者の声であっても、最終出力はターゲット話者の音色とスタイルを維持する。
性能評価では、まず英語のブラインドリスニングテストを実施。人間の評価者はGRAFTをトップに選び、困難な単語の発音が実際の参照録音に最も近いと判断した。さらに、5言語（英語、中国語、日本語、ドイツ語、フランス語）を含む客観的ベンチマークでは、GRAFTはターゲット単語の音素誤り率をテキストのみのベースラインと比較して22～39%削減し、音素ベースおよびテキストベースの他の主要なオープンソースゼロショットTTSシステムを上回った。同時に話者類似性と自然性も維持された。
この研究は、参照音声の「接ぎ木」による細粒度の発音制御の新たなアプローチを示しており、音声合成、音声アシスタント、オーディオブック作成など様々な応用が期待される。将来的には、さらに多くの語彙や言語への拡張が検討されるだろう。