Raon-Speech 是一項由韓國研究團隊（包括Beomsoo Kim等26位作者）開發的9B參數語音語言模型（SpeechLM），專門針對英語和韓語的語音理解、問答和生成任務。該模型的核心創新在於成功將預訓練的大型語言模型（LLM）轉化為既能理解又能生成語音的模型，同時保留了強大的文本處理能力。這一轉化並非易事，但Raon-Speech通過精心設計的訓練流程實現了這一目標，其訓練過程分為三個階段：首先是語音模塊的對齊，使模型能夠將語音輸入與文本表示聯繫起來；其次是端到端的語音語言模型預訓練，其中加入了知識蒸餾技術以提高效率；最後是基於多任務偏好優化的後訓練，進一步微調模型行為。
訓練數據集規模龐大，包含138萬小時的高度精選的英語和韓語語音及文本數據。在評估階段，研究團隊在42項英語和韓語的語音及文本基準測試中，將Raon-Speech與八個近期發佈的同尺寸音頻基礎模型進行了對比，包括Qwen2.5-Omni和Fun-Audio-Chat等。結果顯示，Raon-Speech在語音中心任務上建立了最強的整體性能，同時其文本問答能力依然保持領先水平，這表明它在語音和文本模態之間取得了出色的平衡。
在Raon-Speech的基礎上，研究團隊進一步推出了Raon-SpeechChat，這是一個全雙工擴展，旨在實現自然的實時對話。全雙工對話意味着雙方可以同時説話、互相打斷，就像人類自然對話一樣。Raon-SpeechChat通過持續訓練119,000小時的時間對齊的真實和合成對話數據來實現這一功能。其訓練同樣包含三個階段：因果編碼器適應、全雙工預訓練以及全雙工微調（用於聲音和角色控制）。在多個全雙工基準測試中，Raon-SpeechChat在FDB v1.0覆蓋的輪換和中斷敏感行為上表現最為突出，並且在更廣泛的全雙工評估套件中也保持了競爭力。
最令人印象深刻的是，研究團隊決定將所有模型檢查點、訓練和推理流程以及一個交互式演示進行開源。這一舉措將為全球的研究人員和開發者提供寶貴的資源，推動語音語言模型在實時對話等實際場景中的應用。Raon-Speech的工作展示瞭如何將強大的文本LLM擴展到語音模態，同時保持高性能和開源精神，這無疑是AI領域的一大進步。