OpenAI發佈GPT-Realtime-2.1和GPT-Realtime-2.1-mini，用於API中的低延遲語音代理

OpenAI在其API中發佈了兩款新的Realtime模型：gpt-realtime-2.1和gpt-realtime-2.1-mini，專注於低延遲語音和多模態體驗。其中最引人注目的是mini版本，它是一款專為實時語音設計的迷你推理模型，定價與之前的gpt-realtime-mini保持一致。同時，OpenAI通過改進緩存，將整個Realtime語音模型的p95延遲降低了至少25%。

GPT-Realtime-2.1-mini能夠處理音頻和文本輸入，並通過實時連接進行響應。其核心優勢在於推理能力——模型在回答前會進行內部思考，並且支持工具調用（函數調用），使得模型能夠逐步規劃操作，調用函數後再給出答案。開發者可以配置推理努力程度（從低到極高），默認低努力以保持低延遲，適用於大多數生產環境。

相比之下，gpt-realtime-2.1是gpt-realtime-2的升級版，改進了字母數字識別、靜音和噪聲處理以及中斷行為，支持語音到語音的交互，並可配置推理努力、指令遵循和工具使用。選擇時，如果需要最強的實時推理和工具調用能力，應選用gpt-realtime-2.1；如果追求更快速和成本效益，則選擇gpt-realtime-2.1-mini。

在定價方面，mini模型維持了原gpt-realtime-mini的費率，但新增了推理功能。例如，音頻輸出每百萬token定價為20美元，而完整版gpt-realtime-2.1高達64美元。緩存輸入享有大幅折扣，音頻緩存輸入僅需0.30美元（對比新鮮音頻輸入10美元），長期會話受益尤為明顯。

應用場景包括客户支持分類、預約安排、應用內語音助手和現場數據採集。通過WebRTC連接，瀏覽器客户端可以直接與Realtime API交互，服務器端僅需生成短期客户端密鑰。官方建議從低推理努力開始，僅在複雜任務時提高，並始終在遷移模型前進行評估。

優勢方面，推理功能現已覆蓋低成本mini層，定價與上一代mini相同，p95延遲降低至少25%，可配置的推理努力平衡了延遲與深度，單模型音頻管道保持對話自然。劣勢在於音頻token定價難以換算為每次調用成本，高推理努力增加延遲和輸出token，長會話可能因重新提交上下文而增加輸入成本，且mini層在能力上有所取捨。