OpenAI发布GPT-Realtime-2.1和GPT-Realtime-2.1-mini，用于API中的低延迟语音代理

OpenAI在其API中发布了两款新的Realtime模型：gpt-realtime-2.1和gpt-realtime-2.1-mini，专注于低延迟语音和多模态体验。其中最引人注目的是mini版本，它是一款专为实时语音设计的迷你推理模型，定价与之前的gpt-realtime-mini保持一致。同时，OpenAI通过改进缓存，将整个Realtime语音模型的p95延迟降低了至少25%。

GPT-Realtime-2.1-mini能够处理音频和文本输入，并通过实时连接进行响应。其核心优势在于推理能力——模型在回答前会进行内部思考，并且支持工具调用（函数调用），使得模型能够逐步规划操作，调用函数后再给出答案。开发者可以配置推理努力程度（从低到极高），默认低努力以保持低延迟，适用于大多数生产环境。

相比之下，gpt-realtime-2.1是gpt-realtime-2的升级版，改进了字母数字识别、静音和噪声处理以及中断行为，支持语音到语音的交互，并可配置推理努力、指令遵循和工具使用。选择时，如果需要最强的实时推理和工具调用能力，应选用gpt-realtime-2.1；如果追求更快速和成本效益，则选择gpt-realtime-2.1-mini。

在定价方面，mini模型维持了原gpt-realtime-mini的费率，但新增了推理功能。例如，音频输出每百万token定价为20美元，而完整版gpt-realtime-2.1高达64美元。缓存输入享有大幅折扣，音频缓存输入仅需0.30美元（对比新鲜音频输入10美元），长期会话受益尤为明显。

应用场景包括客户支持分类、预约安排、应用内语音助手和现场数据采集。通过WebRTC连接，浏览器客户端可以直接与Realtime API交互，服务器端仅需生成短期客户端密钥。官方建议从低推理努力开始，仅在复杂任务时提高，并始终在迁移模型前进行评估。

优势方面，推理功能现已覆盖低成本mini层，定价与上一代mini相同，p95延迟降低至少25%，可配置的推理努力平衡了延迟与深度，单模型音频管道保持对话自然。劣势在于音频token定价难以换算为每次调用成本，高推理努力增加延迟和输出token，长会话可能因重新提交上下文而增加输入成本，且mini层在能力上有所取舍。