你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

使用 Azure 机器学习 CLI、SDK 和 REST API 训练模型

适用于：Azure CLI ml 扩展 v2（当前）Python SDK azure-ai-ml v2（当前）

Azure 机器学习提供了多种提交 ML 训练作业的方法。 本文介绍如何使用以下方法提交作业：

  • 用于机器学习的Azure CLI扩展：ml 扩展，也称为 CLI v2。
  • Python SDK v2 for Azure 机器学习。
  • REST API：CLI 和 SDK 所基于的 API。

先决条件

若要使用 SDK，请执行以下操作：

克隆示例存储库

本文中的代码片段基于 Azure 机器学习 示例GitHub存储库中的示例。 若要将存储库克隆到开发环境，请使用以下命令：

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples

提示

使用 --depth 1 仅克隆存储库中的最新提交，从而减少操作完成所需的时间。

本文中的剩余命令假定你正在从 azureml-examples 目录中运行。

示例作业

本文中的示例使用鸢尾花数据集来训练 MLFlow 模型。

在云中训练

在云中训练时，必须连接到Azure 机器学习工作区，并选择一个计算资源来运行训练作业。

连接到工作区

提示

使用以下选项卡选择要用于训练模型的方法。 选择选项卡会自动将本文中的所有选项卡切换到同一选项卡。可以随时选择另一个选项卡。

若要连接到工作区，需要标识符参数 - 订阅、资源组和工作区名称。 使用 MLClient 命名空间中 azure.ai.ml 的这些详细信息获取所需 Azure 机器学习工作区的句柄。 若要进行身份验证，请使用 default Azure 身份验证。 有关如何配置凭据并连接到工作区的详细信息，请参阅此 example。

#import required libraries
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your Azure Machine Learning workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace = '<AZUREML_WORKSPACE_NAME>'

#connect to the workspace
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

通过打印工作区名称验证连接：

print(ml_client.workspace_name)

创建用于训练的计算资源

注意

若要尝试 无服务器计算，请跳过此步骤并继续 提交训练作业。

Azure 机器学习计算群集是一种完全托管的计算资源，可用于运行训练作业。 在以下示例中，将创建名为 cpu-cluster 的计算群集。

from azure.ai.ml.entities import AmlCompute

# specify aml compute name.
cpu_compute_target = "cpu-cluster"

try:
    ml_client.compute.get(cpu_compute_target)
except Exception:
    print("Creating a new cpu compute target...")
    compute = AmlCompute(
        name=cpu_compute_target, size="STANDARD_D2_V2", min_instances=0, max_instances=4
    )
    ml_client.compute.begin_create_or_update(compute).result()

验证计算群集是否存在：

cpu_cluster = ml_client.compute.get("cpu-cluster")
print(f"Compute '{cpu_cluster.name}' provisioning state: {cpu_cluster.provisioning_state}")

提交训练作业

若要运行此脚本，请使用 command 来执行位于 ./sdk/python/jobs/single-step/lightgbm/iris/src/ 下的 main.py Python脚本。 将命令作为 job 提交到Azure 机器学习。

注意

若要使用 无服务器计算，请在此 compute="cpu-cluster" 代码中删除。

from azure.ai.ml import command, Input

# define the command
command_job = command(
    code="./src",
    command="python main.py --iris-csv ${{inputs.iris_csv}} --learning-rate ${{inputs.learning_rate}} --boosting ${{inputs.boosting}}",
    environment="AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu@latest",
    inputs={
        "iris_csv": Input(
            type="uri_file",
            path="https://azuremlexamples.blob.core.windows.net/datasets/iris.csv",
        ),
        "learning_rate": 0.9,
        "boosting": "gbdt",
    },
    compute="cpu-cluster",
)

在同一Python会话中提交作业：

# submit the command
returned_job = ml_client.jobs.create_or_update(command_job)
# get a URL for the status of the job
returned_job.studio_url

在前面的示例中，你配置了：

  • code - 运行命令的代码所在的路径。
  • command - 需要运行的命令。
  • environment - 运行训练脚本所需的环境。 在此示例中，使用由名为 AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu@latest 的Azure 机器学习提供的特选环境或现成环境。 你还可以通过指定基本 docker 映像并为其指定 conda yaml 来使用自定义环境。
  • inputs - 采用名称-值对形式的命令输入字典。 键是作业上下文中输入的名称，值为输入值。 在command中使用${{inputs.<input_name>}}表达式引用输入。 若要将文件或文件夹用作输入，请使用类 Input 。 有关详细信息，请参阅 SDK 和 CLI v2 表达式。

有关详细信息，请参阅 参考文档。

提交作业时，服务会返回Azure 机器学习工作室中作业状态的 URL。 使用工作室 UI 查看作业进度。 您还可以使用 returned_job.status 检查作业的当前状态。

print(f"Studio URL: {returned_job.studio_url}")

重要

Azure 机器学习训练和命令作业不支持使用自定义域名标签的Azure容器注册表（ACR）。 引用此类注册表的作业可能会在启动期间因镜像拉取或环境解析错误而失败。 若要避免此问题：

  • 对 ACR 使用默认登录服务器格式 （<registry-name>.azurecr.io）。
  • 创建注册表时，将 域名标签范围 设置为 “不安全”。

监控训练任务

等待训练作业完成，然后注册模型。 作业状态通过 Starting → Preparing →→ RunningCompleted转换。

使用 ml_client.jobs.stream() 实时监控作业输出：

ml_client.jobs.stream(returned_job.name)

或者，以编程方式检查作业状态：

returned_job = ml_client.jobs.get(returned_job.name)
print(f"Job status: {returned_job.status}")

注册已训练的模型

以下示例演示如何在Azure 机器学习工作区中注册模型。

提示

训练作业返回一个 name 属性。 将此名称用作模型路径的一部分。

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

run_model = Model(
    path="azureml://jobs/{}/outputs/artifacts/paths/model/".format(returned_job.name),
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL
)

ml_client.models.create_or_update(run_model)

验证模型是否已注册：

registered_model = ml_client.models.get("run-model-example", version="1")
print(f"Model '{registered_model.name}' version {registered_model.version} registered successfully.")

清理资源

如果不打算将计算群集用于更多训练作业，请将其删除以停止产生费用。 只要该群集存在，就会持续计费，即使没有任何运行中的节点。

ml_client.compute.begin_delete("cpu-cluster").wait()

解决常见问题

Error 原因 解决方案
ImportError: No module named 'azure.identity' 缺少 azure-identity 包 pip install azure-identity运行
DefaultAzureCredential failed 未登录到Azure 首先运行az login，或设置用于服务主体身份验证的环境变量
ComputeNotFound 群集名称不匹配或群集已删除 验证群集名称并检查预配状态
EnvironmentNotFound 精选环境已弃用或不可用 使用 ml_client.environments.list() 列出可用环境，并使用当前版本
QuotaExceeded VM 大小的 vCPU 配额不足 请求增加配额 或使用较小的 VM 大小

有关环境特定问题，请参阅排查环境镜像构建问题。

后续步骤

现在已训练模型， 请了解如何使用联机终结点部署模型。

有关更多示例，请参阅 Azure 机器学习 示例 GitHub存储库。

有关本文中使用的Azure CLI命令、Python SDK 类或 REST API 的详细信息，请参阅以下参考文档：

  • 上次更新时间为