你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

使用 MLflow 和 Azure 机器学习跟踪 Azure Synapse Analytics ML 试验

项目
09/03/2024

本文介绍在 Azure Synapse Analytics 工作区中工作时如何使 MLflow 连接到 Azure 机器学习。可以利用此配置来执行跟踪、模型管理和模型部署。

MLflow 是一个开放源代码库，用于管理机器学习试验的生命周期。 MLflow 跟踪是 MLflow 的一个组件，用于记录和跟踪训练运行指标和模型项目。详细了解 MLflow。

如果你要使用某个 MLflow 项目通过 Azure 机器学习进行训练，请参阅使用 MLflow 项目和 Azure 机器学习训练 ML 模型（预览版）。

先决条件

一个 Azure Synapse Analytics 工作区和群集。
一个 Azure 机器学习工作区。

安装库

在 Azure Synapse Analytics 中的专用群集上安装库：

使用试验所需的包创建 requirements.txt 文件，但请确保该文件还包括以下包：

requirements.txt
```
mlflow
azureml-mlflow
azure-ai-ml
```
导航到 Azure Analytics 工作区门户。
导航到“管理”选项卡并选择“Apache Spark 池”。
单击群集名称旁边的三个点，然后选择“包”。
在“要求文件”部分，单击“上传”。
上传 requirements.txt 文件。
等待群集重启。

使用 MLflow 对试验进行跟踪

Azure Synapse Analytics 可配置为使用连接到 Azure 机器学习工作区的 MLflow 来跟踪试验。 Azure 机器学习提供了一个集中式存储库，用于管理试验、模型和部署的整个生命周期。它还具有使用 Azure 机器学习部署选项启用更轻松的部署路径的优势。

将笔记本配置为使用连接到 Azure 机器学习的 MLflow

若要将 Azure 机器学习用作试验的集中式存储库，可以利用 MLflow。在正在使用的每个笔记本上，需要配置跟踪 URI 以指向将要使用的工作区。下面的示例演示了实现方式：

配置跟踪 URI

获取工作区的跟踪 URI：
- Azure CLI
- Python
- 工作室
- 手动
适用于：Azure CLI ml 扩展 v2（当前）
1. 登录并配置工作区：
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
```
2. 可以使用 az ml workspace 命令获取跟踪 URI：
```
az ml workspace show --query mlflow_tracking_uri
```
适用于：Python SDK azure-ai-ml v2（当前版本）

可以使用适用于 Python 的 Azure 机器学习 SDK v2 获取 Azure ML MLflow 跟踪 URI。确保在使用的计算中安装了库 azure-ai-ml。以下示例获取与工作区关联的唯一 MLFLow 跟踪 URI。
1. 使用 MLClient 登录到工作区。要执行此操作，更简单方法是使用工作区配置文件：
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient.from_config(credential=DefaultAzureCredential())
```
  提示
  
  可以通过以下方式下载工作区配置文件：
  
  导航到 Azure ML 工作室
  
  单击页面右上角 -> 下载配置文件。
  
  将文件 config.json 保存到正在使用的同一目录中。
2. 或者，也可以使用订阅 ID、资源组名称和工作区名称来获取：
```
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your AzureML workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<WORKSPACE_NAME>'

ml_client = MLClient(credential=DefaultAzureCredential(),
                        subscription_id=subscription_id, 
                        resource_group_name=resource_group,
                        workspace_name=workspace_name)
```
  重要
  
  DefaultAzureCredential 将尝试从可用上下文中拉取凭据。如果想要以其他方式指定凭据，例如以交互式方式使用 Web 浏览器，则可以使用 InteractiveBrowserCredential 或 azure.identity 包中提供的任何其他方法。
3. 获取 Azure 机器学习跟踪 URI：
```
mlflow_tracking_uri = ml_client.workspaces.get(ml_client.workspace_name).mlflow_tracking_uri
```
使用 Azure 机器学习门户获取跟踪 URI：
1. 打开 Azure 机器学习工作室并使用你的凭据登录。
2. 在右上角，单击工作区的名称以显示“目录 + 订阅 + 工作区”边栏选项卡。
3. 单击“在 Azure 门户中查看所有属性”。
4. 可以在“概要”部分中找到“MLflow 跟踪 URI”属性。
Azure 机器学习跟踪 URI 可以使用订阅 ID、资源部署区域、资源组名称和工作区名称来生成。以下代码示例显示了如何：

警告

如果在启用了专用链接的工作区中工作，MLflow 终结点还将使用专用链接与 Azure 机器学习通信。因此，跟踪 URI 看起来会有所不同，如此处所示。在这些情况下，需要使用 Azure ML SDK 或 CLI v2 获取跟踪 URI。
```
region = "<LOCATION>"
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace_name = '<AML_WORKSPACE_NAME>'

mlflow_tracking_uri = f"azureml://{region}.api.azureml.ms/mlflow/v1.0/subscriptions/{subscription_id}/resourceGroups/{resource_group}/providers/Microsoft.MachineLearningServices/workspaces/{workspace_name}"
```
配置跟踪 URI：
- 使用 MLflow SDK
- 使用环境变量
然后，set_tracking_uri() 方法将 MLflow 跟踪 URI 指向该 URI。
```
import mlflow

mlflow.set_tracking_uri(mlflow_tracking_uri)
```
可以在计算中设置 MLflow 环境变量 MLFLOW_TRACKING_URI，从而将与该计算中的 MLflow 的任何交互默认指向 Azure 机器学习。
```
MLFLOW_TRACKING_URI=$(az ml workspace show --query mlflow_tracking_uri | sed 's/"//g') 
```
提示

使用共享环境（如 Azure Databricks 群集、Azure Synapse Analytics 群集或类似环境）时，可以在群集级别设置环境变量 MLFLOW_TRACKING_URI 以自动配置 MLflow 跟踪 URI，以指向群集中运行的基于所有会话的 Azure 机器学习，而不是指向群集中运行的基于每会话的 Azure 机器学习。

配置身份验证

配置跟踪后，还需要配置对关联工作区进行身份验证的方式。默认情况下，适用于 MLflow 的 Azure 机器学习插件将通过打开默认浏览器提示输入凭据来执行交互式身份验证。有关在 Azure 机器学习工作区中为 MLflow 配置身份验证的其他方法，请参阅为 Azure 机器学习配置 MLflow：配置身份验证。

如果交互式作业有用户连接到会话，你可以依赖交互式身份验证，因此无需进一步操作。

警告

在系统提示输入凭据时，交互式浏览器身份验证将阻止代码执行。此方法不适用于无人参与的环境（如训练作业）中的身份验证。建议配置不同的身份验证模式。

对于需要无人参与执行的方案，则必须配置服务主体，以便与 Azure 机器学习通信。

MLflow SDK
使用环境变量

import os

os.environ["AZURE_TENANT_ID"] = "<AZURE_TENANT_ID>"
os.environ["AZURE_CLIENT_ID"] = "<AZURE_CLIENT_ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<AZURE_CLIENT_SECRET>"

export AZURE_TENANT_ID="<AZURE_TENANT_ID>"
export AZURE_CLIENT_ID="<AZURE_CLIENT_ID>"
export AZURE_CLIENT_SECRET="<AZURE_CLIENT_SECRET>"

提示

使用共享环境时，建议在计算中配置这些环境变量。最佳做法是在 Azure 密钥保管库实例中将这些环境变量作为机密进行管理。

例如，在 Azure Databricks 中，可以在群集配置的环境变量中使用机密，如下所示：AZURE_CLIENT_SECRET={{secrets/<scope-name>/<secret-name>}}。有关在 Azure Databricks 中实现此方法的详细信息，请参阅引用环境变量中的机密或参考适用于你平台的文档。

Azure 机器学习中的试验名称

默认情况下，Azure 机器学习跟踪在名为 Default 的默认试验中运行。通常最好是设置要处理的试验。使用以下语法来设置试验的名称：

mlflow.set_experiment(experiment_name="experiment-name")

跟踪参数、指标和项目

然后，可以像之前一样在 Azure Synapse Analytics 中使用 MLflow。有关详细信息，请参阅记录并查看指标和日志文件。

使用 MLflow 在注册表中注册模型

可以在 Azure 机器学习工作区中注册模型，该工作区提供集中式存储库来管理模型的生命周期。以下示例记录使用 Spark MLLib 训练的模型，并在注册表中注册该模型。

mlflow.spark.log_model(model, 
                       artifact_path = "model", 
                       registered_model_name = "model_name")

如果还没有模型注册为该名称，该方法将注册一个新模型，创建版本 1，并返回 ModelVersion MLflow 对象。
如果已有模型注册为该名称，该方法将创建一个新的模型版本并返回版本对象。

可以使用 MLflow 管理在 Azure 机器学习中注册的模型。有关详细信息，请参阅使用 MLflow 在 Azure 机器学习中管理模型注册表。

部署和使用在 Azure 机器学习中注册的模型

使用 MLflow 在 Azure 机器学习服务中注册的模型可以用作：

Azure 机器学习终结点（实时和批处理）：此部署允许在 Azure 容器实例 (ACI)、Azure Kubernetes (AKS) 或我们的托管终结点中的实时和批量推理中利用 Azure 机器学习部署功能。
MLFlow 模型对象或 Pandas UDF，可在流式处理或批处理管道中的 Azure Synapse Analytics 笔记本中使用。

将模型部署到 Azure 机器学习终结点

可以利用 azureml-mlflow 插件将模型部署到 Azure 机器学习工作区。有关如何将模型部署到不同目标的完整详细信息，请查看如何部署 MLflow 模型页面。

重要

模型需要在 Azure 机器学习注册表中注册才能进行部署。 Azure 机器学习中不支持部署未注册的模型。

部署模型以使用 UDF 进行批量评分

可以选择 Azure Synapse Analytics 群集进行批量评分。系统将加载 MLFlow 模型，并将其用作 Spark Pandas UDF 对新数据进行评分。

from pyspark.sql.types import ArrayType, FloatType 

model_uri = "runs:/"+last_run_id+ {model_path} 

#Create a Spark UDF for the MLFlow model 
pyfunc_udf = mlflow.pyfunc.spark_udf(spark, model_uri) 

#Load Scoring Data into Spark Dataframe 
scoreDf = spark.table({table_name}).where({required_conditions}) 

#Make Prediction 
preds = (scoreDf 
           .withColumn('target_column_name', pyfunc_udf('Input_column1', 'Input_column2', ' Input_column3', …)) 
        ) 

display(preds)

清理资源

如果希望保留 Azure Synapse Analytics 工作区，但不再需要 Azure 机器学习工作区，则可以删除 Azure 机器学习工作区。如果不打算使用工作区中记录的指标和项目，目前尚未提供单独删除它们的功能。可以改为删除包含存储帐户和工作区的资源组，这样就不会产生任何费用：

在 Azure 门户中，选择最左侧的“资源组”。
从列表中选择已创建的资源组。
选择“删除资源组”。
输入资源组名称。然后选择“删除”。

通过