Raon-Speechは、韓国の研究チーム（Beomsoo Kimら26名の著者）によって開発された9Bパラメータの音声言語モデル（SpeechLM）で、英語と韓国語の音声理解、応答、生成に特化しています。このモデルの主な革新は、事前学習済みの大規模言語モデル（LLM）を音声の理解と生成が可能なモデルに変換し、かつ強力なテキスト処理能力を維持した点にあります。この変換は容易ではありませんが、Raon-Speechは注意深く設計された訓練プロセスによって実現しました。訓練は3つの段階で構成されます：まず音声モジュールのアライメントにより、モデルが音声入力をテキスト表現と結びつけられるようにし、次に知識蒸留を組み込んだエンドツーエンドのSpeechLM事前学習、最後にマルチタスク選好最適化に基づく後訓練です。
訓練データセットは、厳選された英語と韓国語の音声・テキストデータを合計138万時間分使用しています。評価段階では、研究チームは42の英語・韓国語の音声・テキストベンチマークにおいて、Raon-SpeechをQwen2.5-OmniやFun-Audio-Chatを含む8つの最近の同規模音声基盤モデルと比較しました。結果、Raon-Speechは音声中心のタスクで最も高い総合性能を示し、テキスト質問応答能力も高い水準を維持していました。これは音声とテキストの両モダリティで優れたバランスを達成していることを示しています。
Raon-Speechを基盤として、研究チームはさらにRaon-SpeechChatを開発しました。これは、自然なリアルタイム対話を可能にする全二重拡張機能です。全二重対話とは、双方が同時に話したり、途中で割り込んだりできる、人間の自然な会話のようなものです。Raon-SpeechChatは、119,000時間の時間整合された実対話および合成対話データを用いた継続訓練によってこれを実現しました。訓練は、(1)因果エンコーダ適応、(2)全二重事前学習、(3)音声・役割制御のための全二重微調整の3段階で行われます。複数の全二重ベンチマークにおいて、Raon-SpeechChatはFDB v1.0でカバーされるターンテイキングや割り込み検出で明確な強みを示し、より広範な全二重評価スイートでも競争力を維持しました。
特筆すべきは、研究チームがすべてのモデルチェックポイント、訓練・推論パイプライン、そしてインタラクティブデモをオープンソースとして公開したことです。これにより、世界中の研究者や開発者が貴重なリソースを活用でき、リアルタイム対話のような実用的なシナリオにおける音声言語モデルの応用が促進されるでしょう。Raon-Speechの研究は、強力なテキストLLMを音声モダリティに拡張する方法を示すとともに、高い性能とオープンソースの精神を両立させた、AI分野における重要な進歩です。