使用Amazon SageMaker AI將基準測試和推薦結果流式傳輸到MLflow

在生成式AI模型的部署優化過程中，團隊往往需要評估多種GPU實例類型、服務容器、並行策略以及推測解碼等高級技術。傳統做法通常導致數週的手動數據整理和結果對比，效率低下且容易出錯。為解決這一痛點，Amazon SageMaker AI推出了全新的MLflow集成，允許用户將基準測試和推薦結果自動流式傳輸到統一的SageMaker MLflow應用，從而消除數據孤島，加速迭代週期，並確保實驗的可復現性。

該集成的核心優勢包括：

• 自動消除手動數據整合：多個作業的結果自動合併到同一實驗名稱下，用户可以在MLflow實驗視圖中並排比較不同運行，無需手動收集指標、日誌和配置。例如，可以直觀地比較qwen2-0.5b模型在ml.g4dn.12xlarge與ml.p4d.24xlarge實例上的性能差異。
• 實時監控長時間運行的作業：基準測試和推薦作業可能耗時數小時。現在，用户可以實時觀察延遲和吞吐量指標在測試過程中的持續更新，如果吞吐量不符合預期，可以提前停止作業，避免資源浪費。
• 完整的審計追蹤：每個實驗運行都捕獲了完整的上下文，包括作業參數、時間戳、檢查點指標和生成的工件。審計記錄可查詢和重現，幫助團隊追溯配置變更帶來的改進或識別性能瓶頸。
• 更好的協作與治理：共享的MLflow實驗成為優化工作的單一事實來源，減少重複勞動，支持團隊成員之間的無縫交接。

技術實現上，用户需要先通過Amazon SageMaker Studio創建SageMaker MLflow應用，併為執行角色添加必要的權限（包括sagemaker-mlflow:*和端點調用權限）。提交基準測試或推薦作業時，在OutputConfig中指定MlflowConfig，包含MLflow應用ARN、實驗名稱和運行名稱。基準測試作業評估現有端點，推薦作業則自動在內部配置和評估端點，並返回排名靠前的配置。例如，使用Qwen/Qwen2-0.5B-Instruct模型的團隊可以通過同一個MLflow實驗跟蹤基準測試和推薦作業的結果，典型完成時間為45-120分鐘。

關鍵注意事項包括：集成僅支持SageMaker MLflow應用，不支持自託管MLflow服務器；需要設置tooling.version為0.8.0或更高以支持MLflow嵌套運行；推薦作業無需指定ComputeSpec.InstanceTypes（除非有特殊限制）；執行角色必須包含所需的SageMaker、MLflow、S3和端點調用權限；S3輸出桶必須與作業在同一區域。

通過這個新的MLflow集成，團隊可以顯著簡化生成式AI模型的部署優化流程，將精力集中在模型性能提升而非數據整理上。