Couchbase如何利用Amazon Bedrock為Capella iQ構建多模型AI架構

Couchbase與AWS合作，透過Amazon Bedrock為其AI開發者助手Capella iQ構建了多模型推理架構。該架構使用Anthropic的Claude Sonnet 4.5作為主要基礎模型，實現了約76%的準確率，覆蓋SQL++生成、索引推薦、查詢解釋等核心工作負載。

Capella iQ的架構部署在AWS控制平面上，橫跨us-east-1和us-west-2兩個區域以提供高可用性。在us-east-1中，一個Amazon EKS叢集執行著多個微服務，包括cp-api（處理請求）、cp-internal-api（路由邏輯）和cp-ns（管理租戶配置）。透過VPC介面端點，這些服務可以私有地呼叫Amazon Bedrock執行時，確保資料不經過公共網際網路。

跨區域推理(CRIS)功能自動將請求路由到最優區域，支援自動故障轉移和負載分發。當開發者與Capella iQ互動時，請求經過身份驗證、會話上下文檢索、提示組裝後，透過私有路徑傳送到Bedrock，響應再透過相同路徑返回。這一設計使得模型升級或提供商變更只需配置更新，無需程式碼更改。

在模型選擇過程中，Couchbase建立了一套基準測試套件，從功能正確性、確定性、延遲和格式一致性四個維度評估多個模型。Claude Sonnet 4.5在內部評估中達到76%準確率，滿足生產質量標準。Amazon Bedrock的完全託管、無伺服器環境消除了基礎設施管理負擔，並提供跨區域彈性。

工程實踐中，跨區域故障轉移測試是最具挑戰的部分，需要自定義測試工具來模擬各種故障模式。團隊還開發了自動化評估流水線，以確保模型比較的公平性。

Couchbase總結了關鍵經驗：早期投資於提供商抽象層可以保持長期靈活性；跨區域推理簡化了運營；多模型就緒需要持續投入。未來，Couchbase計劃透過Amazon Bedrock的自定義模型匯入功能部署微調的小型模型，以降低高容量任務（如索引推薦）的推理成本，同時保持質量。

總之，Couchbase成功構建了一個彈性、多模型的AI架構，使模型演化成為配置選擇而非程式碼更改，為未來採用更新模型奠定了基礎。