AI News HubLIVE
站內改寫1 分鐘閱讀

在Amazon Bedrock上執行MiniMax模型

Amazon Bedrock現已支援MiniMax M2、M2.1和M2.5模型,其中M2.5專為代理原生執行而設計。文章介紹瞭如何透過控制台遊樂場或API(推薦使用bedrock-mantle端點)快速上手,並演示了工具呼叫功能。所有推理均在AWS基礎設施上執行,資料安全且有保障。

來源AWS Machine Learning Blog作者: Zohreh Norouzi

Amazon Bedrock現已支援MiniMax模型的M2系列,包括M2、M2.1和最新版M2.5。其中M2.5專為代理原生執行設計,採用混合專家(MoE)架構,總引數達2300億,但每次推理僅啟用100億引數,在保持大模型知識容量的同時大幅降低計算成本。所有模型推理均在AWS託管的基礎設施上執行,提示和補全內容不會用於訓練任何模型,也不會與模型提供商共享,滿足了企業對資料保護和合規性的嚴格要求。

呼叫MiniMax模型有兩種端點選擇。推薦使用bedrock-mantle端點,它提供與OpenAI相容的Chat Completions API,現有團隊只需修改基礎URL和模型ID即可遷移。該端點支援API金鑰、專案和客戶端側工具呼叫。如需使用原生Amazon Bedrock功能如Guardrails、Agents、Flows等,則選擇bedrock-runtime端點,它提供Converse和InvokeModel API。

快速上手非常簡單。您可以在Amazon Bedrock控制台的聊天遊樂場中直接選擇MiniMax M2.5模型並測試。例如,輸入“設計一個Python微服務,暴露REST API管理任務佇列,包含錯誤處理、輸入驗證並編寫單元測試”即可體驗其程式碼生成和推理能力。對於程式設計方式,透過OpenAI Python SDK呼叫bedrock-mantle端點,只需設定基礎URL和API金鑰(建議從AWS Secrets Manager獲取),即可傳送對話請求。

工具呼叫是M2.5的亮點。示例中展示瞭如何定義get_weather工具,讓模型根據使用者請求自主決定呼叫函式,然後執行函式並返回結果整合進自然語言回覆。這一過程完全由模型驅動,適用於構建智慧代理工作流。

總之,MiniMax模型在Amazon Bedrock上為生產級AI工作負載提供了安全、高效的推理環境,無論是構建代理應用、長上下文文件分析還是軟體工程工作流,都能獲得AWS的安全運營保障。