OpenAI發佈GPT-Live和GPT-Live-1 mini:全雙工語音模型,將深層推理委託給GPT-5.5
OpenAI發佈新一代全雙工語音模型GPT-Live,支持同時聽和説,並能將搜索和推理任務委託給GPT-5.5,實現更自然的實時對話。
OpenAI今日發佈了GPT-Live,這是一款新一代語音模型系列,現已為ChatGPT語音體驗提供支持。其目標是與AI實現自然、實時的對話。首批推出的兩個版本是GPT-Live-1和GPT-Live-1 mini,即日起面向全球ChatGPT用户推出。
GPT-Live基於全雙工架構構建,這意味着模型可以同時進行聽和説。在對話過程中,它可以添加諸如“嗯”或“是的”之類的簡短回應,進行快速的來回交流,或者在您思考時保持安靜。對於需要網絡搜索、深度推理或複雜工作的任務,GPT-Live會將其委託給後台的前沿模型處理,並在準備好時將結果返回對話。目前,這個後台模型是GPT-5.5。在前沿模型工作期間,GPT-Live保持對話繼續。
早期的語音系統在向自然對話邁進時存在權衡。級聯語音系統每輪對話需要串聯三個獨立模型:語音轉文字、大語言模型和文字轉語音。這雖然讓人們首次能夠與前沿模型對話,但信息可能在模型間丟失,響應緩慢且生硬。基於輪次的語音模型,如ChatGPT高級語音模式,在單一模型內處理音頻,減少了延遲並使對話更流暢,但仍需等待用户停止説話,基於靜音檢測輪次,容易因短暫停頓或背景噪音導致不自然的打斷。
GPT-Live通過兩個架構變化解決了這些限制:連續的全雙工處理使模型能在生成輸出的同時處理輸入,每秒多次做出交互決策,包括説話、繼續聽、暫停、打斷或調用工具。這支持更自然的來回交流和更好的時間感,還能實現實時翻譯。其次,通過將連續交互與深度推理解耦,GPT-Live在需要搜索、推理或更復雜的代理能力時委託給其他模型,如GPT-5.5,在後台處理,同時保持對話流暢。這種設計還讓GPT-Live能夠隨着新前沿模型的發佈而採用它們。
OpenAI構建了新的人類評估,用於衡量愉悦度和對話流暢度。評估者在匹配的五到十分鐘對話中比較模型。在這些頭對頭測試中,GPT-Live-1和GPT-Live-1 mini被強烈偏好於高級語音模式。在自動化基準測試中,GPT-Live-1在GPQA(專家級科學推理)、BrowseComp(代理式網絡搜索)和τ³-Voice Telecom(多輪電信支持任務)上均優於高級語音模式。
GPT-Live的用例包括免提幫助、語言練習、實時翻譯、移動中的研究、支持工作流以及視覺查詢(如天氣、股票、體育卡片)。API尚未開放,但OpenAI提供了架構的教學模擬。
ChatGPT語音體驗的變化:超過1.5億用户每週使用ChatGPT語音和聽寫。現在點擊語音按鈕即可使用GPT-Live體驗。對話支持打斷、暫停和請求放慢。模型會通過“嗯”或“知道了”等提示確認。OpenAI為GPT-Live重新制作了九種不同的聲音。您可以選擇推理級別:即時、中等或高。更好的聆聽意味着它會在您停頓時等待,而不是跳入。在嘈雜環境中也更專注。語音現在可以顯示天氣、股票和體育的視覺卡片。仍然支持搜索、記憶、圖像和文件上傳。