AI News HubLIVE
站内改写1 分钟阅读

在Amazon Bedrock上运行MiniMax模型

Amazon Bedrock现已支持MiniMax M2、M2.1和M2.5模型,其中M2.5专为代理原生执行而设计。文章介绍了如何通过控制台游乐场或API(推荐使用bedrock-mantle端点)快速上手,并演示了工具调用功能。所有推理均在AWS基础设施上运行,数据安全且有保障。

来源AWS Machine Learning Blog作者: Zohreh Norouzi

Amazon Bedrock现已支持MiniMax模型的M2系列,包括M2、M2.1和最新版M2.5。其中M2.5专为代理原生执行设计,采用混合专家(MoE)架构,总参数达2300亿,但每次推理仅激活100亿参数,在保持大模型知识容量的同时大幅降低计算成本。所有模型推理均在AWS托管的基础设施上运行,提示和补全内容不会用于训练任何模型,也不会与模型提供商共享,满足了企业对数据保护和合规性的严格要求。

调用MiniMax模型有两种端点选择。推荐使用bedrock-mantle端点,它提供与OpenAI兼容的Chat Completions API,现有团队只需修改基础URL和模型ID即可迁移。该端点支持API密钥、项目和客户端侧工具调用。如需使用原生Amazon Bedrock功能如Guardrails、Agents、Flows等,则选择bedrock-runtime端点,它提供Converse和InvokeModel API。

快速上手非常简单。您可以在Amazon Bedrock控制台的聊天游乐场中直接选择MiniMax M2.5模型并测试。例如,输入“设计一个Python微服务,暴露REST API管理任务队列,包含错误处理、输入验证并编写单元测试”即可体验其代码生成和推理能力。对于编程方式,通过OpenAI Python SDK调用bedrock-mantle端点,只需设置基础URL和API密钥(建议从AWS Secrets Manager获取),即可发送对话请求。

工具调用是M2.5的亮点。示例中展示了如何定义get_weather工具,让模型根据用户请求自主决定调用函数,然后执行函数并返回结果整合进自然语言回复。这一过程完全由模型驱动,适用于构建智能代理工作流。

总之,MiniMax模型在Amazon Bedrock上为生产级AI工作负载提供了安全、高效的推理环境,无论是构建代理应用、长上下文文档分析还是软件工程工作流,都能获得AWS的安全运营保障。