本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

安定性と表現力のギャップを埋める:低リソース音声言語モデルのための合成データスケーリングと選好アライメント

記事の要約

本論文は、低リソース音声言語モデル(SLM)が合成データに依存することで生じる安定性と表現力のギャップを明らかにし、表現力を回復するための2つの自己アライメントフレームワーク(DGSAとTDSC)を提案する。ElevenLabsやGemini Proを上回る性能を達成し、ラオ語で初のゼロショット音声クローニングを実現した。

ソースarXiv Computational Linguistics著者: Yizhong Geng, Yanliang Li, Jinghan Yang, Tianhan Jiang, Boxun An, Ya Li, Xiaoyu Shen
安定性と表現力のギャップを埋める:低リソース音声言語モデルのための合成データスケーリングと選好アライメント
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

音声合成の分野において、音声言語モデル(Spoken Language Models, SLM)は、明示的な書記素から音素への変換パイプラインをバイパスすることで、有望なパラダイムとして台頭している。しかし、低リソース言語におけるその有効性は、転写された音声データの不足によって根本的に制限されている。実際には、合成データがそのような設定でSLMをスケーリングするための主要な戦略となっており、実データが不十分な場合に信頼性の高い音声的監督を提供している。

本研究は、この合成データへの依存が根本的なトレードオフを導入することを明らかにする。著者らはこれを「安定性と表現力のギャップ(Stability-Expressivity Gap)」と呼ぶ。具体的には、合成データは音素精度を向上させる一方で、韻律の変動性を徐々に抑制し、最終的には表現力の崩壊(合成浸食、Synthetic Erosion)を引き起こす。

このギャップを埋めるために、論文は2つの自己アライメントフレームワークを提案する。第一は、解 entangled ガイド付き自己アライメント(Disentanglement-Guided Self-Alignment, DGSA)であり、韻律と音色の分離を利用して複雑な言語の表現力を回復する。第二は、温度駆動型自己批評(Temperature-Driven Self-Critique, TDSC)であり、本物の参照データが極めて限られている状況において、自動探索とフィルタリングを通じて生成を安定化させる。

実験結果は、この手法がElevenLabsやGemini Proを含む強力な商用システムを上回り、ラオ語で初のゼロショット音声クローニング機能を実現することを示している。本論文は2026年4月10日に提出され、Yizhong Gengら7名の著者によるもので、計算と言語(cs.CL)および人工知能(cs.AI)の分野に属する。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 合成データは音素精度を向上させるが、韻律の変動性を抑制し、表現力の崩壊(合成浸食)を引き起こす。
  • 解 entangled ガイド付き自己アライメント(DGSA)と温度駆動型自己批評(TDSC)を提案し、ギャップを埋める。
  • ElevenLabsやGemini Proなどの商用システムを低リソース言語で上回る。
  • ラオ語で初のゼロショット音声クローニング機能を実現。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

安定性と表現力のギャップを埋める:低リソース音声言語モデルのための合成データスケーリングと選好アライメント | AI News Hub