OpenAI工程师卢克·柯利近日发表尖锐评论,直指WebRTC协议在AI语音交互场景中的根本性缺陷。他指出,WebRTC的设计优先保障实时通信的低延迟,却在网络条件不佳时主动丢弃音频包,导致用户输入的语音提示词严重失真。
柯利在文章中写道:“WebRTC就是为了降级和丢弃我的提示词而设计的。”他认为,在AI语音应用中,提示词的准确性远比极致的低延迟更重要。对于需要昂贵计算资源的LLM(大语言模型),一次错误的提示意味着整个回答的失败,用户“宁愿多等200毫秒也要让提示准确”。
然而,WebRTC的实现并不允许这种等待。柯利透露,在Discord工作时他们就尝试过重传音频包,但在浏览器环境中完全不可行。WebRTC的编码机制“硬编码了实时延迟,否则就罢工”。这意味着,即便AI应用需要更可靠的数据传输,也无法绕过这一限制。
柯利的评论是对OpenAI官方博客《如何大规模交付低延迟语音AI》的回应。他引用自己此前在博客《WebRTC就是问题》中的观点,强调当前语音AI的瓶颈不在模型本身,而在通信协议的取舍。他的发言已在开发者社区引发热烈讨论,许多人呼吁WebRTC标准制定者考虑AI场景的新需求。