在Amazon Bedrock上運行MiniMax模型
Amazon Bedrock現已支持MiniMax M2、M2.1和M2.5模型,其中M2.5專為代理原生執行而設計。文章介紹瞭如何通過控制台遊樂場或API(推薦使用bedrock-mantle端點)快速上手,並演示了工具調用功能。所有推理均在AWS基礎設施上運行,數據安全且有保障。
Amazon Bedrock現已支持MiniMax模型的M2系列,包括M2、M2.1和最新版M2.5。其中M2.5專為代理原生執行設計,採用混合專家(MoE)架構,總參數達2300億,但每次推理僅激活100億參數,在保持大模型知識容量的同時大幅降低計算成本。所有模型推理均在AWS託管的基礎設施上運行,提示和補全內容不會用於訓練任何模型,也不會與模型提供商共享,滿足了企業對數據保護和合規性的嚴格要求。
調用MiniMax模型有兩種端點選擇。推薦使用bedrock-mantle端點,它提供與OpenAI兼容的Chat Completions API,現有團隊只需修改基礎URL和模型ID即可遷移。該端點支持API密鑰、項目和客户端側工具調用。如需使用原生Amazon Bedrock功能如Guardrails、Agents、Flows等,則選擇bedrock-runtime端點,它提供Converse和InvokeModel API。
快速上手非常簡單。您可以在Amazon Bedrock控制台的聊天遊樂場中直接選擇MiniMax M2.5模型並測試。例如,輸入“設計一個Python微服務,暴露REST API管理任務隊列,包含錯誤處理、輸入驗證並編寫單元測試”即可體驗其代碼生成和推理能力。對於編程方式,通過OpenAI Python SDK調用bedrock-mantle端點,只需設置基礎URL和API密鑰(建議從AWS Secrets Manager獲取),即可發送對話請求。
工具調用是M2.5的亮點。示例中展示瞭如何定義get_weather工具,讓模型根據用户請求自主決定調用函數,然後執行函數並返回結果整合進自然語言回覆。這一過程完全由模型驅動,適用於構建智能代理工作流。
總之,MiniMax模型在Amazon Bedrock上為生產級AI工作負載提供了安全、高效的推理環境,無論是構建代理應用、長上下文文檔分析還是軟件工程工作流,都能獲得AWS的安全運營保障。