Miro,這個為超過9500萬全球使用者提供AI驅動的創新工作空間,正面臨一個關鍵挑戰:如何快速準確地將軟體缺陷路由到正確的團隊。誤路由導致的反覆重新分配,每年估計造成42年的累積生產力損失。為了解決這個問題,Miro與AWS原型和雲工程(PACE)團隊合作,開發了BugManager——一個基於Amazon Bedrock的AI驅動缺陷分類解決方案。
BugManager採用了一種創新的、基於檢索增強生成(RAG)的方法。當收到新的缺陷報告時,系統首先使用Amazon Nova Pro的多模態能力解析截圖或螢幕錄製等非文本資料。然後,透過Amazon Bedrock Knowledge Bases從多個知識源(如已解決的Jira問題、GitHub拉取請求、Confluence文件和README檔案)中檢索相關上下文,豐富缺陷描述。最後,系統使用Anthropic的Claude Sonnet 4,將豐富的描述與團隊職責的詳細文本資訊結合到一個最佳化的分類提示中,執行缺陷到團隊的路由。
該系統透過Slack工作流無縫整合到Miro的工程社群中。使用者釋出缺陷報告後,BugManager會返回按優先順序排序的最多五個合適團隊,並附帶理由。預設情況下,缺陷路由給最可能的團隊,但使用者可以手動覆蓋。此外,系統還能生成詳細的根因分析,從整個Miro程式碼庫中檢索相關資訊,為工程師提供深入見解。
BugManager的架構基於在Amazon EKS上執行的Python微服務。工作流程包括:提交使用者反饋、解析媒體附件、用上下文豐富反饋、路由到正確團隊、生成根因分析,以及返回結果供使用者審查。關鍵技術包括Amazon Bedrock Knowledge Bases用於RAG、Amazon OpenSearch Serverless作為向量儲存,以及Anthropic的Claude Sonnet 4用於分類。
結果令人印象深刻:Top-1路由準確率超過75%(比之前的微調NLP模型提高了70%),Top-3準確率達95%,平均延遲僅為53秒。這使得團隊重新分配次數減少了六倍,平均解決時間從數天縮短到數小時。BugManager的基於提示的方法意味著團隊描述的更新可以立即傳播,無需重新訓練,使其能夠輕鬆適應動態的組織和產品變化。
總之,BugManager成功地將AI應用於一個具有挑戰性的實際工程問題,顯著提高了Miro的開發效率和產品質量。