OpenAI工程師盧克·柯利近日發表尖鋭評論,直指WebRTC協議在AI語音交互場景中的根本性缺陷。他指出,WebRTC的設計優先保障實時通信的低延遲,卻在網絡條件不佳時主動丟棄音頻包,導致用户輸入的語音提示詞嚴重失真。
柯利在文章中寫道:“WebRTC就是為了降級和丟棄我的提示詞而設計的。”他認為,在AI語音應用中,提示詞的準確性遠比極致的低延遲更重要。對於需要昂貴計算資源的LLM(大語言模型),一次錯誤的提示意味着整個回答的失敗,用户“寧願多等200毫秒也要讓提示準確”。
然而,WebRTC的實現並不允許這種等待。柯利透露,在Discord工作時他們就嘗試過重傳音頻包,但在瀏覽器環境中完全不可行。WebRTC的編碼機制“硬編碼了實時延遲,否則就罷工”。這意味着,即便AI應用需要更可靠的數據傳輸,也無法繞過這一限制。
柯利的評論是對OpenAI官方博客《如何大規模交付低延遲語音AI》的回應。他引用自己此前在博客《WebRTC就是問題》中的觀點,強調當前語音AI的瓶頸不在模型本身,而在通信協議的取捨。他的發言已在開發者社區引發熱烈討論,許多人呼籲WebRTC標準制定者考慮AI場景的新需求。