使用Amazon SageMaker AI將基準測試和推薦結果流式傳輸到MLflow

在生成式AI模型的部署最佳化過程中，團隊往往需要評估多種GPU例項型別、服務容器、並行策略以及推測解碼等高階技術。傳統做法通常導致數週的手動資料整理和結果對比，效率低下且容易出錯。為解決這一痛點，Amazon SageMaker AI推出了全新的MLflow整合，允許使用者將基準測試和推薦結果自動流式傳輸到統一的SageMaker MLflow應用，從而消除資料孤島，加速迭代週期，並確保實驗的可復現性。

該整合的核心優勢包括：

• 自動消除手動資料整合：多個作業的結果自動合併到同一實驗名稱下，使用者可以在MLflow實驗檢視中並排比較不同執行，無需手動收集指標、日誌和配置。例如，可以直觀地比較qwen2-0.5b模型在ml.g4dn.12xlarge與ml.p4d.24xlarge例項上的效能差異。
• 即時監控長時間執行的作業：基準測試和推薦作業可能耗時數小時。現在，使用者可以即時觀察延遲和吞吐量指標在測試過程中的持續更新，如果吞吐量不符合預期，可以提前停止作業，避免資源浪費。
• 完整的審計追蹤：每個實驗執行都捕獲了完整的上下文，包括作業引數、時間戳、檢查點指標和生成的工件。審計記錄可查詢和重現，幫助團隊追溯配置變更帶來的改進或識別效能瓶頸。
• 更好的協作與治理：共享的MLflow實驗成為最佳化工作的單一事實來源，減少重複勞動，支援團隊成員之間的無縫交接。

技術實現上，使用者需要先透過Amazon SageMaker Studio建立SageMaker MLflow應用，併為執行角色新增必要的許可權（包括sagemaker-mlflow:*和端點呼叫許可權）。提交基準測試或推薦作業時，在OutputConfig中指定MlflowConfig，包含MLflow應用ARN、實驗名稱和執行名稱。基準測試作業評估現有端點，推薦作業則自動在內部配置和評估端點，並返回排名靠前的配置。例如，使用Qwen/Qwen2-0.5B-Instruct模型的團隊可以透過同一個MLflow實驗跟蹤基準測試和推薦作業的結果，典型完成時間為45-120分鐘。

關鍵注意事項包括：整合僅支援SageMaker MLflow應用，不支援自託管MLflow伺服器；需要設定tooling.version為0.8.0或更高以支援MLflow巢狀執行；推薦作業無需指定ComputeSpec.InstanceTypes（除非有特殊限制）；執行角色必須包含所需的SageMaker、MLflow、S3和端點呼叫許可權；S3輸出桶必須與作業在同一區域。

透過這個新的MLflow整合，團隊可以顯著簡化生成式AI模型的部署最佳化流程，將精力集中在模型效能提升而非資料整理上。