在Amazon SageMaker AI中推出生成式AI推理推薦使用者介面

Amazon SageMaker AI Studio近日推出了生成式AI推理推薦的低程式碼/無程式碼使用者介面（UI），旨在簡化將生成式AI模型部署到生產環境的過程。此前，使用者需要透過API獲取最佳化配置，但這要求使用者瞭解引數設定和原始基準輸出的解讀。新UI消除了這一門檻，透過預設用例配置、結果視覺化和一鍵部署，使沒有深厚基礎設施知識的團隊也能獨立獲得經過驗證的配置。

該UI的工作流程始於定義工作負載配置。使用者可以從預設用例配置中選擇，例如“互動”配置模擬聊天式工作負載（短輸入、中等輸出），“生成”配置針對長輸出內容生成進行最佳化，“摘要”配置適用於高輸入輸出比的文件摘要。若預設配置不匹配，使用者還可選擇“自定義”配置，自行提供資料集、設定併發量和令牌長度。同時，使用者需選擇最佳化目標：最小化延遲、最大化吞吐量或降低成本，系統將據此調整最佳化技術和推薦排序。

模型來源多樣，使用者可從Amazon SageMaker JumpStart目錄中拉取基礎模型，或指向Amazon S3上的自有模型製品，複用模型登錄檔中的已註冊包，或選擇先前部署或訓練作業中的現有SageMaker模型。在計算資源方面，使用者可讓SageMaker AI自動選擇硬體，或指定特定例項型別進行評測。

新UI提供了完整的端到端體驗。使用者透過Studio左側導航欄進入“作業”下的“推理最佳化”，建立最佳化作業。作業執行後，可在詳情頁面檢視狀態、設定和結果。完成後，“概覽”選項卡會顯示按效能指標排名的推理包，每個包包含最佳化配置、效能指標（如首令牌時間、令牌間延遲、吞吐量和成本）以及“部署”按鈕。使用者點選部署，系統將自動完成模型註冊、端點配置和部署，端點就緒後即可立即呼叫。

該UI還提供了作業管理功能，包括搜尋、停止、刪除作業，以及檢視每個作業的詳情頁面。最佳化作業在執行時可能會建立臨時端點用於基準測試，作業完成後會自動刪除這些端點。

最佳實踐方面，建議在模型微調或更新後、新例項型別可用時、流量模式發生重大變化時，或定期（如每幾周）重新執行最佳化作業，因為SageMaker AI團隊會持續新增新的最佳化結果。

總之，Amazon SageMaker AI Studio的生成式AI推理推薦UI將資料驅動的基礎設施決策能力擴充套件到整個組織，使得不同技術背景的團隊都能高效地找到最優配置並部署到生產環境。