在Amazon SageMaker AI中推出生成式AI推理推荐用户界面

Amazon SageMaker AI Studio近日推出了生成式AI推理推荐的低代码/无代码用户界面（UI），旨在简化将生成式AI模型部署到生产环境的过程。此前，用户需要通过API获取优化配置，但这要求用户了解参数设置和原始基准输出的解读。新UI消除了这一门槛，通过预设用例配置、结果可视化和一键部署，使没有深厚基础设施知识的团队也能独立获得经过验证的配置。

该UI的工作流程始于定义工作负载配置。用户可以从预设用例配置中选择，例如“交互”配置模拟聊天式工作负载（短输入、中等输出），“生成”配置针对长输出内容生成进行优化，“摘要”配置适用于高输入输出比的文档摘要。若预设配置不匹配，用户还可选择“自定义”配置，自行提供数据集、设置并发量和令牌长度。同时，用户需选择优化目标：最小化延迟、最大化吞吐量或降低成本，系统将据此调整优化技术和推荐排序。

模型来源多样，用户可从Amazon SageMaker JumpStart目录中拉取基础模型，或指向Amazon S3上的自有模型制品，复用模型注册表中的已注册包，或选择先前部署或训练作业中的现有SageMaker模型。在计算资源方面，用户可让SageMaker AI自动选择硬件，或指定特定实例类型进行评测。

新UI提供了完整的端到端体验。用户通过Studio左侧导航栏进入“作业”下的“推理优化”，创建优化作业。作业运行后，可在详情页面查看状态、设置和结果。完成后，“概览”选项卡会显示按性能指标排名的推理包，每个包包含优化配置、性能指标（如首令牌时间、令牌间延迟、吞吐量和成本）以及“部署”按钮。用户点击部署，系统将自动完成模型注册、端点配置和部署，端点就绪后即可立即调用。

该UI还提供了作业管理功能，包括搜索、停止、删除作业，以及查看每个作业的详情页面。优化作业在运行时可能会创建临时端点用于基准测试，作业完成后会自动删除这些端点。

最佳实践方面，建议在模型微调或更新后、新实例类型可用时、流量模式发生重大变化时，或定期（如每几周）重新运行优化作业，因为SageMaker AI团队会持续添加新的优化结果。

总之，Amazon SageMaker AI Studio的生成式AI推理推荐UI将数据驱动的基础设施决策能力扩展到整个组织，使得不同技术背景的团队都能高效地找到最优配置并部署到生产环境。