使用Amazon Nova Act扩展用户体验测试:用户流程分析的新方法
基于生成式AI,该方案通过并行执行、自动测试场景生成和智能导航,实现大规模用户流程测试,提供可操作的洞察以改善用户体验。
用户体验(UX)测试面临诸多挑战,限制了组织改善平台交互的能力。与关注功能缺陷的传统质量保证(QA)测试不同,UX测试评估用户完成预期任务的流畅性和有效性,例如查找商品、创建账户或完成购买。然而,手动测试难以扩展,测试人员只能评估有限的用户旅程,边缘情况常被忽略。传统自动化工具依赖硬编码脚本,一旦界面变化即需维护,而覆盖多种设备、交互模式的综合测试成本高昂且耗时。
Amazon Nova Act为解决这些挑战提供了新途径。Nova Act是一种多模态基础模型,能够通过视觉理解并与Web浏览器界面交互。与依赖预定义元素选择器的脚本工具不同,Nova Act通过处理截图来智能导航网站,就像人类测试者一样。它分析页面布局,通过视觉线索识别交互元素,并根据上下文决定下一步操作。这种视觉理解能力使其能够适应界面变化,处理动态内容,从而超越Selenium或Playwright等传统工具。Nova Act的推理和链式思维日志为网站设计及直观性提供了宝贵洞察。
该解决方案基于生成式AI,实现了并行执行的大规模用户流程测试。它演示了如何构建云部署的UX测试平台:从文档自动生成测试场景、利用Nova Act的智能导航大规模执行用户流程,并通过自动化分析提供可行洞察。
解决方案概述
架构分为四层:
- 文档处理层:将网站文档、用户指南等存储在Amazon S3,并导入Amazon Bedrock知识库进行语义搜索。AWS Lambda结合Claude 4.5 Sonnet将用户任务(如通过搜索购买咖啡机)转换为多粒度的测试指令。
- 编排层:Amazon DynamoDB存储测试流程及元数据,DynamoDB Streams触发AWS Lambda协调执行,并启动Amazon ECS任务进行并行处理。
- 执行层:Amazon ECS with AWS Fargate提供无服务器计算,Nova Act代理在并行浏览器会话中执行用户流程,并实时记录交互行为。
- 分析层:Lambda处理结果,使用Amazon Bedrock分析执行模式、计算可用性分数,并识别摩擦点。结果存储在DynamoDB,并通过React仪表板展示。
部署与使用
前提条件包括Node.js v20+、npm v10.8+、AWS账户和AWS CDK。完整部署脚本在GitHub仓库中。创建测试流程有三种方式:自动从文档生成、手动定义或混合方法。建议采用混合模式:先用自动生成建立基线,再针对特定场景手动补充。自动生成时,将用户任务和文档上传至指定S3存储桶,系统会异步处理并生成可执行的测试场景。手动定义则直接向DynamoDB表插入自定义流程,支持指定起始URL、指令数组、方法名和粒度级别。
自定义与结果
解决方案支持持久化浏览器会话以处理用户认证、Pydantic模式用于结构化数据提取,以及文件上传/下载测试。执行结果包括摘要指标和详细交互日志,摘要文件包含每次步骤的时长、操作数、成功状态和提取数据。分析层进一步计算原始计数和异常,生成可用性分数和摩擦点报告。
通过这套系统,团队可以在不增加人力的情况下,显著扩大UX测试覆盖范围,获得针对界面优化的可操作洞察。