CouchbaseはAWSと協力し、Amazon Bedrockを介してAI開発アシスタントCapella iQ向けのマルチモデル推論アーキテクチャを構築しました。このアーキテクチャはAnthropicのClaude Sonnet 4.5を主要基盤モデルとして採用し、SQL++生成、インデックス推奨、クエリ説明などのコアワークロードで約76%の精度を達成しています。
Capella iQのアーキテクチャは、AWSコントロールプレーン上にデプロイされ、us-east-1とus-west-2の2つのリージョンにまたがり高可用性を提供します。us-east-1では、Amazon EKSクラスターがcp-api（リクエスト処理）、cp-internal-api（ルーティングロジック）、cp-ns（テナント設定管理）などの複数のマイクロサービスを実行します。VPCインターフェースエンドポイントを介して、これらのサービスはAmazon Bedrockランタイムをプライベートに呼び出し、データがパブリックインターネットを経由しないようにします。
クロスリージョン推論（CRIS）機能は、自動的にリクエストを最適なリージョンにルーティングし、自動フェイルオーバーと負荷分散をサポートします。開発者がCapella iQと対話する際、リクエストは認証、セッションコンテキスト取得、プロンプトアセンブリを経て、プライベートパスを介してBedrockに送信され、応答も同じパスで返されます。この設計により、モデルのアップグレードやプロバイダーの変更はコード変更なしで構成更新のみで可能になります。
モデル選定にあたり、Couchbaseは機能的正確性、決定性、レイテンシー、フォーマット一貫性の4次元で複数のモデルを評価するベンチマークスイートを構築しました。Claude Sonnet 4.5は内部評価で76%の精度を達成し、本番品質基準を満たしました。Amazon Bedrockのフルマネージドサーバーレス環境はインフラ管理の負担を排除し、クロスリージョン回復力を提供します。
エンジニアリング上の課題として、クロスリージョン障害対策テストは最も困難で、さまざまな障害モードをシミュレートするカスタムテストツールが必要でした。チームはまた、モデル比較の公平性を確保するための自動評価パイプラインを開発しました。
Couchbaseは重要な教訓として、プロバイダー抽象化層への早期投資が長期的な柔軟性をもたらすこと、クロスリージョン推論が運用を簡素化すること、マルチモデル対応には継続的な投資が必要であることを挙げています。将来は、Amazon Bedrockのカスタムモデルインポート機能を使用して、高頻度タスク（インデックス推奨など）向けに微調整された小型モデルをデプロイし、品質を維持しながら推論コストを削減する予定です。
全体として、Couchbaseは弾力的なマルチモデルAIアーキテクチャを構築し、モデルの進化をコード変更ではなく構成選択として扱うことで、将来の新モデル採用の基盤を築きました。