在Amazon SageMaker AI中推出生成式AI推理推薦用户界面

Amazon SageMaker AI Studio近日推出了生成式AI推理推薦的低代碼/無代碼用户界面（UI），旨在簡化將生成式AI模型部署到生產環境的過程。此前，用户需要通過API獲取優化配置，但這要求用户瞭解參數設置和原始基準輸出的解讀。新UI消除了這一門檻，通過預設用例配置、結果可視化和一鍵部署，使沒有深厚基礎設施知識的團隊也能獨立獲得經過驗證的配置。

該UI的工作流程始於定義工作負載配置。用户可以從預設用例配置中選擇，例如“交互”配置模擬聊天式工作負載（短輸入、中等輸出），“生成”配置針對長輸出內容生成進行優化，“摘要”配置適用於高輸入輸出比的文檔摘要。若預設配置不匹配，用户還可選擇“自定義”配置，自行提供數據集、設置併發量和令牌長度。同時，用户需選擇優化目標：最小化延遲、最大化吞吐量或降低成本，系統將據此調整優化技術和推薦排序。

模型來源多樣，用户可從Amazon SageMaker JumpStart目錄中拉取基礎模型，或指向Amazon S3上的自有模型製品，複用模型註冊表中的已註冊包，或選擇先前部署或訓練作業中的現有SageMaker模型。在計算資源方面，用户可讓SageMaker AI自動選擇硬件，或指定特定實例類型進行評測。

新UI提供了完整的端到端體驗。用户通過Studio左側導航欄進入“作業”下的“推理優化”，創建優化作業。作業運行後，可在詳情頁面查看狀態、設置和結果。完成後，“概覽”選項卡會顯示按性能指標排名的推理包，每個包包含優化配置、性能指標（如首令牌時間、令牌間延遲、吞吐量和成本）以及“部署”按鈕。用户點擊部署，系統將自動完成模型註冊、端點配置和部署，端點就緒後即可立即調用。

該UI還提供了作業管理功能，包括搜索、停止、刪除作業，以及查看每個作業的詳情頁面。優化作業在運行時可能會創建臨時端點用於基準測試，作業完成後會自動刪除這些端點。

最佳實踐方面，建議在模型微調或更新後、新實例類型可用時、流量模式發生重大變化時，或定期（如每幾周）重新運行優化作業，因為SageMaker AI團隊會持續添加新的優化結果。

總之，Amazon SageMaker AI Studio的生成式AI推理推薦UI將數據驅動的基礎設施決策能力擴展到整個組織，使得不同技術背景的團隊都能高效地找到最優配置並部署到生產環境。