跳到主要内容
AI News HubLIVE
站内改写3 分钟阅读

使用MLflow v3.10在Amazon SageMaker AI上简化生成式AI开发

文章摘要

Amazon SageMaker AI MLflow Apps现已支持MLflow版本3.10,为生成式AI开发带来了增强的追踪、评估和可观测性功能。本文介绍了新特性、快速入门指南以及如何利用这些改进加速从实验到生产的AI工作流。

来源AWS Machine Learning Blog作者: Sandeep Raveesh-Babu
使用MLflow v3.10在Amazon SageMaker AI上简化生成式AI开发
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

今天,我们很高兴地宣布Amazon SageMaker AI MLflow Apps现已支持MLflow版本3.10,为生成式AI开发带来了增强功能,并简化了实验追踪。基于Amazon SageMaker AI MLflow Apps建立的基础,这一最新版本引入了强大的可观测性、评估和生成式AI开发新功能,帮助数据科学家和机器学习工程师加速从实验到生产的AI计划。

本文将探讨MLflow v3.10的新功能、入门指南以及如何利用这些增强功能构建生成式AI应用。

MLflow v3.10的新功能

MLflow 3.10引入了一系列针对性的改进,扩展了MLflow 3.0建立的追踪和可观测性能力,特别关注生成式AI应用开发和代理工作流。在生成式AI方面,该版本改进了对复杂多轮工作流的追踪,与流行LLM框架和库的更紧密集成,以及简化了生成式AI交互和调用的日志记录。评估功能通过mlflow.genai.evaluation() API得到显著升级,该API提供了程序化接口,用于在整个开发到生产生命周期中系统化地测量和维护生成式AI质量,内置相关性、忠实度、正确性和安全性指标,所有这些都与SageMaker AI工作流无缝集成。

可观测性改进包括更细粒度的追踪过滤和搜索、更丰富的元数据捕获用于调试和根因分析,以及预置性能仪表板,可一目了然地显示工作负载级指标——延迟分布、请求计数、质量分数和令牌使用情况——无需手动配置图表,为运行生产工作负载的团队提供运营成本的清晰可见性,同时MLflow工作空间提供了一种结构化的方式来跨团队和项目组织MLflow工件。

这些改进与SageMaker AI相结合,提供了企业级的生成式AI基础设施,使得跟踪实验、监控生成式AI性能以及大规模维护AI应用的治理变得简单直接。

在SageMaker AI MLflow App v3.10上入门

对于新用户,通过SageMaker Studio控制台、AWS CLI或API创建SageMaker AI MLflow App非常简单。默认配置会自动预置MLflow 3.10,让您立即访问所有最新功能。

您可以通过AWS管理控制台、AWS命令行界面(AWS CLI)或API开始使用Amazon SageMaker AI MLflow Apps上完全托管的MLflow 3.10。

前提条件

要开始使用,您需要:

• 一个启用了计费的AWS账户

• 一个Amazon SageMaker Studio AI域。要创建域,请参阅《Amazon SageMaker AI入门指南》。

接下来,导航到Amazon SageMaker AI Studio控制台,选择MLflow应用程序。

选择创建MLflow App并输入名称。这里,我们已为您配置了AWS身份和访问管理(IAM)角色和Amazon Simple Storage Service(Amazon S3)存储桶,使用SageMaker Studio域的默认设置。您只需在高级设置中修改它们(如果需要)。

创建完成后,您将收到一个MLflow Amazon资源名称(ARN)用于连接,并可以立即开始使用新创建的SageMaker AI MLflow App(MLflow v3.10)以及您现有的代码,或者您可以按照以下步骤将代码连接到SageMaker AI MLflow Apps。

要开始使用新创建的SageMaker AI MLflow App跟踪实验,您需要在环境中安装MLflow和AWS SageMaker MLflow插件。您可以使用SageMaker Studio托管的Jupyter Lab、SageMaker Studio代码编辑器、本地集成开发环境(IDE)或其他支持的环境,您的AI工作负载在这些环境中与SageMaker AI MLflow Apps协同工作。

使用pip安装两个Python包:

pip install mlflow==3.10.1 sagemaker-mlflow==0.3.0

要连接并开始直接将AI实验、参数和模型记录到SageMaker AI MLflow Apps,请参阅以下代码片段开始使用您的工作负载。注意,将下面的Amazon资源名称(ARN)替换为您的SageMaker AI MLflow App ARN。

import mlflow

连接到您的SageMaker MLflow App

mlflow_app_arn = "" mlflow.set_tracking_uri(mlflow_app_arn)

设置实验

mlflow.set_experiment("your_genai_experiment")

您现有的代码继续工作,并具有增强功能

新功能自动可用

迁移

如果您在SageMaker或其他地方有现有的MLflow追踪服务器或App,您可以按照博客文章《将MLflow追踪服务器迁移到Amazon SageMaker AI与无服务器MLflow》中的说明迁移到新的3.10应用程序。

结论

Amazon SageMaker AI MLflow Apps中引入MLflow v3.10代表了企业AI开发更高效、可观察和可管理的重要一步。通过访问Amazon SageMaker AI Studio并创建您的第一个MLflow App,开始使用Amazon SageMaker AI MLflow Apps。

新的MLflow v3.10也得到了Amazon SageMaker AI无服务器模型定制和SageMaker Unified Studio的支持,并提供了额外的工作流灵活性。

通过AWS re:Post for SageMaker或您通常的AWS支持联系人分享您的反馈。

展开要点与分析

文章情报

工程师中级

要点

  • Amazon SageMaker AI MLflow Apps支持MLflow v3.10,增强生成式AI开发。
  • 新版本改进了对复杂多轮工作流的追踪,并与主流LLM框架紧密集成。
  • mlflow.genai.evaluation() API提供了系统化的生成式AI质量评估。
  • 可观测性提升包括更细粒度的追踪过滤、丰富的元数据捕获和预置性能仪表板。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。