Couchbase与AWS合作，通过Amazon Bedrock为其AI开发者助手Capella iQ构建了多模型推理架构。该架构使用Anthropic的Claude Sonnet 4.5作为主要基础模型，实现了约76%的准确率，覆盖SQL++生成、索引推荐、查询解释等核心工作负载。
Capella iQ的架构部署在AWS控制平面上，横跨us-east-1和us-west-2两个区域以提供高可用性。在us-east-1中，一个Amazon EKS集群运行着多个微服务，包括cp-api（处理请求）、cp-internal-api（路由逻辑）和cp-ns（管理租户配置）。通过VPC接口端点，这些服务可以私有地调用Amazon Bedrock运行时，确保数据不经过公共互联网。
跨区域推理(CRIS)功能自动将请求路由到最优区域，支持自动故障转移和负载分发。当开发者与Capella iQ交互时，请求经过身份验证、会话上下文检索、提示组装后，通过私有路径发送到Bedrock，响应再通过相同路径返回。这一设计使得模型升级或提供商变更只需配置更新，无需代码更改。
在模型选择过程中，Couchbase建立了一套基准测试套件，从功能正确性、确定性、延迟和格式一致性四个维度评估多个模型。Claude Sonnet 4.5在内部评估中达到76%准确率，满足生产质量标准。Amazon Bedrock的完全托管、无服务器环境消除了基础设施管理负担，并提供跨区域弹性。
工程实践中，跨区域故障转移测试是最具挑战的部分，需要自定义测试工具来模拟各种故障模式。团队还开发了自动化评估流水线，以确保模型比较的公平性。
Couchbase总结了关键经验：早期投资于提供商抽象层可以保持长期灵活性；跨区域推理简化了运营；多模型就绪需要持续投入。未来，Couchbase计划通过Amazon Bedrock的自定义模型导入功能部署微调的小型模型，以降低高容量任务（如索引推荐）的推理成本，同时保持质量。
总之，Couchbase成功构建了一个弹性、多模型的AI架构，使模型演化成为配置选择而非代码更改，为未来采用更新模型奠定了基础。