你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
MLflow 和 Azure 机器学习
适用范围:Azure CLI ml 扩展 v2(最新版)Python SDK azure-ai-ml v2(最新版)
本文介绍 MLflow 的功能,这是一个开源框架,旨在管理完整的机器学习生命周期。 MLflow 使用一组一致的工具在不同平台上训练和提供模型。 无论是在本地运行试验,还是在远程计算目标、虚拟机或 Azure 机器学习计算实例上运行试验,你都可以使用 MLflow。
Azure 机器学习工作区与 MLflow 兼容,这意味着你可以按使用 MLflow 服务器的相同方式使用 Azure 机器学习工作区。 这种兼容性带来了以下优势:
- Azure 机器学习不托管 MLflow 服务器实例,但可以直接使用 MLflow API。
- 无论 Azure 机器学习工作区是否在 Azure 机器学习中运行,均可 Azure 机器学习工作区用作任意 MLflow 代码的跟踪服务器。 只需将 MLflow 配置为指向要其中进行跟踪的工作区即可。
- 可以运行 Azure 机器学习中使用 MLflow 的任何训练例程,而无需作出任何更改。
提示
与 Azure 机器学习 SDK v1 不同,Azure 机器学习 v2 SDK 中没有日志记录功能。 可以使用 MLflow 日志记录来确保训练例程与云无关、可移植,并且不依赖于 Azure 机器学习。
使用 MLflow 进行跟踪
Azure 机器学习使用 MLflow 跟踪来记录指标并存储试验的项目。 连接到 Azure 机器学习时,正在处理的工作区中的所有 MLflow 跟踪都会具体化。
若要了解如何为试验和训练例程设置 MLflow 跟踪,请参阅使用 MLflow 记录指标、参数和文件。 还可以查询和比较试验,并使用 MLflow 运行。
Azure 机器学习中的 MLflow 提供了一种集中跟踪的方法。 即使在本地或其他云中运行,也可以将 MLflow 连接到 Azure 机器学习工作区。 Azure 机器学习工作区提供了一个集中式、安全且可缩放的位置来存储训练指标和模型。
Azure 机器学习中的 MLflow 支持以下操作:
在 R 中使用 MLflow 进行跟踪
R 中的 MLflow 支持具有以下限制:
- MLflow 跟踪仅限于跟踪 Azure 机器学习作业上的试验指标、参数和模型。
- 不支持对具有 R 内核的 RStudio、Posit(之前为 RStudio Workbench)或 Jupyter Notebook 进行交互式训练。
- 不支持模型管理和注册。 使用 Azure 机器学习 CLI 或 Azure 机器学习工作室进行模型注册和管理。
有关在 Azure 机器学习中将 MLflow 跟踪客户端与 R 模型结合使用的示例,请参阅使用 Azure 机器学习 CLI (v2) 训练 R 模型。
使用 Java 中的 MLflow 进行跟踪
Java 中的 MLflow 支持具有以下限制:
- MLflow 跟踪仅限于跟踪 Azure 机器学习作业上的试验指标和参数。
- 无法跟踪项目和模型。 可以改为使用
mlflow.save_model
方法和作业中的outputs
文件夹来保存要捕获的模型或项目。
有关将 MLflow 跟踪客户端与 Azure 机器学习跟踪服务器结合使用的 Java 示例,请参阅 azuremlflow-java。
MLflow 跟踪的示例笔记本
- 使用 MLflow 训练和跟踪 XGBoost 分类器演示了如何使用 MLflow 跟踪实验、记录模型以及将多种风格组合到管道中。
- 使用服务主体身份验证通过 MLflow 训练并跟踪 XGBoost 分类器演示了如何在 Azure 机器学习外部运行的计算中使用 MLflow 跟踪试验。 示例演示如何使用服务主体对 Azure 机器学习服务进行身份验证。
- 使用 HyperOpt 和 MLflow 中的嵌套运行进行超参数优化演示了如何通过常用 HyperOpt 库使用 MLflow 中的子运行对模型执行超参数优化。 示例演示了如何将指标、参数和项目从子运行传输到父运行。
- 使用 MLflow 记录模型演示了如何在 MLflow 中使用模型的概念(而不是项目的概念)。 该示例还演示如何构造自定义模型。
- 使用 MLflow 管理运行和试验演示了如何使用 MLflow 在 Azure 机器学习中查询试验、运行、指标、参数和项目。
使用 MLflow 进行模型注册
Azure 机器学习支持将 MLflow 用于模型管理。 对于熟悉 MLflow 客户端的用户而言,他们可以借此便捷地管理整个模型生命周期。 若要详细了解如何在 Azure 机器学习中使用 MLflow API 管理模型,请查看使用 MLflow 在 Azure 机器学习中管理模型注册表。
MLflow 模型注册的示例笔记本
使用 MLflow 管理模型演示了如何管理注册表中的模型。
使用 MLflow 进行模型部署
可以将 MLflow 模型部署到 Azure 机器学习以利用改进的体验。 Azure 机器学习支持将 MLflow 模型部署到实时终结点和批处理终结点,而无需指明环境或评分脚本。
MLflow SDK、Azure 机器学习 CLI、适用于 Python 的 Azure 机器学习 SDK 和 Azure 机器学习工作室都支持 MLflow 模型部署。 如要详细了解如何将 MLflow 模型部署到 Azure 机器学习,以便进行实时推理和批量推理,请参阅 MLflow 模型部署指南。
MLflow 模型部署的示例笔记本
- 将 MLflow 部署到联机终结点演示了如何使用 MLflow SDK 将 MLflow 模型部署到联机终结点。
- MLflow 部署的渐进式推出功能演示了如何使用具有渐进式模型推出功能的 MLflow SDK 将 MLflow 模型部署到联机终结点。 该示例还演示了如何将多个版本的模型部署到同一终结点。
- 将 MLflow 模型部署到旧版 Web 服务演示了如何使用 MLflow SDK 将 MLflow 模型部署到旧版 Web 服务(Azure 容器实例或 Azure Kubernetes 服务 v1)。
- 在 Azure Databricks 中训练模型并在 Azure 机器学习中部署这些模型演示了如何在 Azure Databricks 中训练模型并在 Azure 机器学习中部署这些模型。 此示例还介绍了在 Azure Databricks 中使用 MLflow 实例跟踪试验。
使用 MLflow 项目进行训练(预览版)
警告
对 Azure 机器学习中 MLproject
文件(MLflow 项目)的支持将于 2026 年 9 月完全停用。 MLflow 仍受完全支持,并且仍然是在 Azure 机器学习中跟踪机器学习工作负载的推荐方法。
当继续使用 MLflow 时,我们建议通过使用 Azure CLI 或适用于 Python 的 Azure 机器学习 SDK (v2) 从 MLproject
文件转换为 Azure 机器学习作业。 有关 Azure 机器学习作业的详细信息,请参阅使用 MLflow 跟踪 ML 试验和模型。
重要
此功能目前处于公开预览状态。 此预览版在提供时没有附带服务级别协议,我们不建议将其用于生产工作负荷。 某些功能可能不受支持或者受限。
有关详细信息,请参阅 Microsoft Azure 预览版补充使用条款。
可以使用 MLflow 项目将训练作业提交到 Azure 机器学习。 可以使用 Azure 机器学习跟踪在本地提交作业,也可以通过 Azure 机器学习计算将作业迁移到云中。
若要了解如何将使用 MLflow 项目的训练作业提交到 Azure 机器学习工作区进行跟踪,请参阅在 Azure 机器学习中使用 MLflow 项目进行训练(预览版)。
MLflow 项目的示例笔记本
MLflow 与 Azure 机器学习客户端工具功能的对比情况
下表显示了使用 MLflow SDK 和 Azure 机器学习客户端工具可以执行的机器学习生命周期操作。
功能 | MLflow SDK | Azure 机器学习 CLI/SDK v2 | Azure 机器学习工作室 |
---|---|---|---|
跟踪并记录指标、参数和模型 | ✓ | ||
检索指标、参数和模型 | ✓ | 只能下载项目和模型。 | ✓ |
提交训练作业 | 使用 MLflow 项目可以实现的操作(预览版)。 | ✓ | ✓ |
使用 Azure 机器学习数据资产提交训练作业 | ✓ | ✓ | |
使用机器学习管道提交训练作业 | ✓ | ✓ | |
管理试验和运行 | ✓ | ✓ | ✓ |
管理 MLflow 模型 | 某些操作可能不受支持。1 | ✓ | ✓ |
管理非 MLflow 模型 | ✓ | ✓ | |
将 MLflow 模型部署到 Azure 机器学习(联机和批量处理) | 目前不支持为批量推理部署 MLflow 模型。2 | ✓ | ✓ |
将非 MLflow 模型部署到 Azure 机器学习 | ✓ | ✓ |
1 有关详细信息,请参阅使用 MLflow 管理 Azure 机器学习中的模型注册表。
2 有关替代方案,请参阅在 Spark 作业中部署和运行 MLflow 模型。