人間の音声は言語内容を超えた表現力を持ち、性格、気分、演奏要素（例えば慰める口調や鼻歌）を含みます。研究チームはこれらをロールプレイと歌唱として形式化しました。今回、複数の研究機関からなるチームがVITA-QinYuを提案しました。これは、自然な会話を超えてロールプレイと歌唱生成の両方をサポートする初のエンドツーエンド表現型音声言語モデル（SLM）です。
VITA-QinYuはハイブリッド音声テキストパラダイムを採用し、インターリーブされたテキスト音声モデリングを拡張してマルチコードブック音声トークンを導入しています。この設計により、モダリティ間の明確な分離を維持しながら、より豊かな副言語表現を可能にし、干渉を防ぎます。モデルは音声とテキストの両方を同時に処理し、マルチコードブック音声トークンを通じて微妙な音声変化（イントネーション、リズム、音色など）を捉え、個性的で感情豊かな音声出力を生成します。
モデルの訓練のために、研究チームは包括的なデータ生成パイプラインを開発し、合計15.8K時間の自然な会話、ロールプレイ、歌唱データを合成しました。ロールプレイデータは多様な性格やシナリオをカバーし、歌唱データは異なるスタイルや音域の曲を含みます。これらの合成データは、モデルが豊かな表現パターンを学習できるよう慎重に設計されています。
客観的なロールプレイベンチマークでは、VITA-QinYuは同等のSLMを7パーセントポイント上回り、歌唱の5段階MOSスケールでは0.13ポイントの優位性を示しました。同時に、会話の精度と流暢さにおいても最先端を達成し、C3ベンチマークで1.38パーセントポイント、UROベンチマークで4.98パーセントポイント、それぞれ従来のSLMを上回りました。これらの結果は、VITA-QinYuが自然で流暢な会話だけでなく、キャラクターの生き生きとした演技や歌の歌唱も可能であることを示しています。
研究チームはコードとモデルをオープンソース化し、ストリーミングと全二重双方向通信をサポートする使いやすいデモも提供しています。これにより、開発者はモデルとリアルタイムで対話し、その表現力を体験できます。VITA-QinYuの提案は表現豊かな音声生成に新たな道を開き、バーチャルキャラクター、音声アシスタント、オーディオブック、クリエイティブエンターテインメントなどの分野での応用が期待されます。将来、研究チームはさらに多くの言語やシナリオに対応するためのモデル最適化や、人間とコンピュータのインタラクションにおける実用的な応用の探求を計画しています。