OpenAI、低遅延音声エージェント向けGPT-Realtime-2.1およびGPT-Realtime-2.1-miniをAPIで公開

OpenAIは、低レイテンシの音声およびマルチモーダル体験を実現するため、APIに2つの新しいRealtimeモデルを公開しました。gpt-realtime-2.1とgpt-realtime-2.1-miniで、特にミニモデルはリアルタイム音声向けの小型推論モデルとして注目されています。価格は従来のgpt-realtime-miniと同額で、OpenAIはキャッシュの改善により全Realtime音声モデルのp95レイテンシを少なくとも25%低減しました。

gpt-realtime-2.1-miniは音声とテキストの入力をリアルタイム接続で処理・応答し、内部で推論を行ってから回答する機能を持ちます。ツール呼び出し（関数呼び出し）もサポートし、ステップごとに計画を立てて関数を実行し、その結果に基づいて応答します。推論努力は低から超高まで設定可能で、デフォルトの低設定はレイテンシを抑え、ほとんどの本番環境に適しています。

一方、gpt-realtime-2.1はgpt-realtime-2のアップデート版で、英数字認識、無音・ノイズ処理、割り込み動作が改善されています。音声間対話に対応し、推論努力、指示追従、ツール使用を設定可能です。強力な推論とツール使用が必要な場合はgpt-realtime-2.1、高速でコスト効率を重視する場合はgpt-realtime-2.1-miniを選択します。

価格は100万トークンあたりで設定され、ミニモデルの音声出力は20ドル、フルモデルは64ドルです。キャッシュ入力は大幅に割り引かれ、ミニモデルの音声キャッシュ入力は0.30ドル（生の音声入力は10.00ドル）で、長時間セッションでのコスト削減に役立ちます。

ユースケースとしては、カスタマーサポートのトリアージ、予約スケジューリング、アプリ内音声アシスタント、現場データ収集などが挙げられます。WebRTCを使用してブラウザクライアントを直接APIに接続し、サーバーは短期間有効なクライアントシークレットを発行するだけです。低めの推論努力から始め、難しいタスクでのみ上げることを推奨します。

強みは、推論機能が低コストのミニ層にまで拡大されたこと、価格が従来のミニと同額であること、p95レイテンシが25%以上改善されたこと、構成可能な推論努力、そしてシングルモデル音声パイプラインによる自然な会話です。弱みとしては、音声トークンの価格を通話あたりのコストに換算しづらい点、高推論努力によるレイテンシ増加、長いセッションでのコンテキスト再送による入力コスト増加、ミニ層の能力制限が挙げられます。