使用 Amazon Nova Act 加速軟體交付的代理式 QA 自動化 – 第 2 部分

在之前的文章中，我們介紹了 QA Studio，這是一個基於 Amazon Nova Act 構建的代理式 QA 自動化參考解決方案，展示瞭如何用自然語言定義單個測試用例、按需執行並透過 AI 驅動的視覺導航檢視執行軌跡。本文進一步擴充套件，重點講解 QA Studio 如何透過測試套件實現批次回歸測試以及如何透過命令列介面（CLI）將代理式測試整合到 CI/CD 流水線中。

測試套件用於組織迴歸測試

在 QA Studio 中，您可以將驗證特定使用者旅程的單個測試用例分組為測試套件，這些套件一起執行並支援跨功能區域的迴歸測試。套件以批次方式執行並支援並行處理：當套件執行時，每個測試用例在其自己的 Amazon ECS on AWS Fargate 工作任務上獨立執行。例如，一個包含 20 個測試的套件可以併發執行，而不是序列執行，從而顯著縮短總執行時間。

您可以按功能領域、釋出階段或測試目的組織套件，例如用於每次部署驗證關鍵路徑的冒煙測試、覆蓋整個應用的迴歸套件，以及釋出前驗證跨功能工作流的整合測試。

建立和管理測試套件

在 QA Studio Web 介面中，透過提供名稱、描述和可選標籤來建立測試套件，然後新增現有測試用例。每個測試用例保留其自己的配置，包括起始 URL、變數、金鑰和標頭。套件執行時，這些配置獨立應用於每個測試用例。

套件執行和結果

套件執行時，QA Studio 為每個測試用例建立獨立的執行記錄並分發到工作佇列。套件執行頁面提供聚合檢視，顯示成功、失敗和仍在執行的測試數量。您可以深入檢視單個執行結果，以檢查失敗測試的軌跡日誌、截圖和會話記錄。每個套件維護自己的執行歷史，提供迴歸穩定性的縱向檢視。

CI/CD 整合與 QA Studio CLI

QA Studio 的 Web 介面適用於互動式測試建立和按需執行，但 CI/CD 流水線需要不同的介面：命令列執行、結構化的輸出、非互動式身份驗證以及可與流水線編排器整合的退出程式碼。

QA Studio CLI (qa-studio) 提供此介面。它連線到與 Web 應用程式相同的 API 後端，但不同之處在於，它會將測試傳送到執行 CLI 的機器（如 CI/CD runner）上的 Amazon Nova Act，而不是傳送到 Fargate 工作任務。結果會報告回 QA Studio 部署。

安裝和身份驗證

QA Studio CLI 是專案 GitHub 倉庫的一部分。克隆倉庫後，作為 Python 包安裝 CLI 及其可選的 runner 依賴。對於 CI/CD 環境，CLI 支援 OAuth 2.0 客戶端憑證身份驗證。在 QA Studio Web 介面建立具有所需作用域的 OAuth 客戶端，並將憑證配置為流水線環境變數。CLI 自動請求和快取訪問令牌，在過期時重新整理，無需互動式瀏覽器登入。

執行測試和套件

qa-studio run 命令執行單個測試用例或整個測試套件。例如：qa-studio run --suite-id suite-456。CI/CD 流水線通常需要對不同環境執行相同測試，CLI 支援 --base-url 標誌替換起始 URL 的域名，以及 --var 標誌覆蓋模板變數。--region 和 --model-id 用於控制 AWS 區域和模型版本。

標頭和金鑰

測試用例可以定義自定義 HTTP 標頭，在測試執行期間隨每個請求傳送。金鑰（如密碼、API 金鑰）儲存在 AWS Secrets Manager 中，加密儲存，並且不會寫入執行日誌或歷史記錄。CI/CD 流水線可以執行需要憑據的測試而不暴露這些憑據。

退出程式碼和流水線整合

CLI 使用退出程式碼對映到流水線的成功和失敗狀態：0 表示全部透過，1 表示一個或多個測試失敗，2 表示 CLI 錯誤（如身份驗證、配置、API）。這種三態模型允許流水線區分測試失敗和基礎設施問題。--format 標誌控制輸出格式，預設為 json 用於程式消費，human 提供可讀摘要。

CI/CD 平臺示例

文章提供了 GitHub Actions、GitLab CI 和 Jenkins 的完整示例，展示瞭如何配置 OAuth 憑據、AWS 憑據、執行測試以及上傳 artifact。例如，在 GitHub Actions 中，使用 if: always() 確保即使測試失敗也儲存 artifact；GitLab CI 支援排程觸發；Jenkins 使用 withCredentials 注入金鑰。

結論

測試套件和 CI/CD 整合將 QA Studio 從互動式測試建立工具擴充套件為持續質量保證平臺。測試套件組織迴歸覆蓋範圍並支援並行執行。CLI 將代理式測試引入統一執行歷史，無論測試以何種方式啟動。