跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

在Amazon Bedrock上執行MiniMax模型

文章摘要

Amazon Bedrock現已支援MiniMax M2、M2.1和M2.5模型,其中M2.5專為代理原生執行而設計。文章介紹瞭如何透過控制台遊樂場或API(推薦使用bedrock-mantle端點)快速上手,並演示了工具呼叫功能。所有推理均在AWS基礎設施上執行,資料安全且有保障。

來源AWS Machine Learning Blog作者: Zohreh Norouzi
在Amazon Bedrock上執行MiniMax模型
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Amazon Bedrock現已支援MiniMax模型的M2系列,包括M2、M2.1和最新版M2.5。其中M2.5專為代理原生執行設計,採用混合專家(MoE)架構,總引數達2300億,但每次推理僅啟用100億引數,在保持大模型知識容量的同時大幅降低計算成本。所有模型推理均在AWS託管的基礎設施上執行,提示和補全內容不會用於訓練任何模型,也不會與模型提供商共享,滿足了企業對資料保護和合規性的嚴格要求。

呼叫MiniMax模型有兩種端點選擇。推薦使用bedrock-mantle端點,它提供與OpenAI相容的Chat Completions API,現有團隊只需修改基礎URL和模型ID即可遷移。該端點支援API金鑰、專案和客戶端側工具呼叫。如需使用原生Amazon Bedrock功能如Guardrails、Agents、Flows等,則選擇bedrock-runtime端點,它提供Converse和InvokeModel API。

快速上手非常簡單。您可以在Amazon Bedrock控制台的聊天遊樂場中直接選擇MiniMax M2.5模型並測試。例如,輸入“設計一個Python微服務,暴露REST API管理任務佇列,包含錯誤處理、輸入驗證並編寫單元測試”即可體驗其程式碼生成和推理能力。對於程式設計方式,透過OpenAI Python SDK呼叫bedrock-mantle端點,只需設定基礎URL和API金鑰(建議從AWS Secrets Manager獲取),即可傳送對話請求。

工具呼叫是M2.5的亮點。示例中展示瞭如何定義get_weather工具,讓模型根據使用者請求自主決定呼叫函式,然後執行函式並返回結果整合進自然語言回覆。這一過程完全由模型驅動,適用於構建智慧代理工作流。

總之,MiniMax模型在Amazon Bedrock上為生產級AI工作負載提供了安全、高效的推理環境,無論是構建代理應用、長上下文文件分析還是軟體工程工作流,都能獲得AWS的安全運營保障。

展開要點與分析

文章情報

工程師進階

要點

  • MiniMax M2系列三個模型(M2、M2.1、M2.5)在Amazon Bedrock上提供,M2.5採用230B總引數、10B活躍引數的MoE架構。
  • 提供兩個呼叫端點:推薦的bedrock-mantle(相容OpenAI SDK)和原生Converse/InvokeModel API的bedrock-runtime。
  • 支援透過控制台或程式碼方式快速使用,並內建工具呼叫能力,適合構建代理應用和長上下文分析。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。