Miro,这个为超过9500万全球用户提供AI驱动的创新工作空间,正面临一个关键挑战:如何快速准确地将软件缺陷路由到正确的团队。误路由导致的反复重新分配,每年估计造成42年的累积生产力损失。为了解决这个问题,Miro与AWS原型和云工程(PACE)团队合作,开发了BugManager——一个基于Amazon Bedrock的AI驱动缺陷分类解决方案。
BugManager采用了一种创新的、基于检索增强生成(RAG)的方法。当收到新的缺陷报告时,系统首先使用Amazon Nova Pro的多模态能力解析截图或屏幕录制等非文本数据。然后,通过Amazon Bedrock Knowledge Bases从多个知识源(如已解决的Jira问题、GitHub拉取请求、Confluence文档和README文件)中检索相关上下文,丰富缺陷描述。最后,系统使用Anthropic的Claude Sonnet 4,将丰富的描述与团队职责的详细文本信息结合到一个优化的分类提示中,执行缺陷到团队的路由。
该系统通过Slack工作流无缝集成到Miro的工程社区中。用户发布缺陷报告后,BugManager会返回按优先级排序的最多五个合适团队,并附带理由。默认情况下,缺陷路由给最可能的团队,但用户可以手动覆盖。此外,系统还能生成详细的根因分析,从整个Miro代码库中检索相关信息,为工程师提供深入见解。
BugManager的架构基于在Amazon EKS上运行的Python微服务。工作流程包括:提交用户反馈、解析媒体附件、用上下文丰富反馈、路由到正确团队、生成根因分析,以及返回结果供用户审查。关键技术包括Amazon Bedrock Knowledge Bases用于RAG、Amazon OpenSearch Serverless作为向量存储,以及Anthropic的Claude Sonnet 4用于分类。
结果令人印象深刻:Top-1路由准确率超过75%(比之前的微调NLP模型提高了70%),Top-3准确率达95%,平均延迟仅为53秒。这使得团队重新分配次数减少了六倍,平均解决时间从数天缩短到数小时。BugManager的基于提示的方法意味着团队描述的更新可以立即传播,无需重新训练,使其能够轻松适应动态的组织和产品变化。
总之,BugManager成功地将AI应用于一个具有挑战性的实际工程问题,显著提高了Miro的开发效率和产品质量。