Werken met modellen in Azure Machine Learning

VAN TOEPASSING OP:Azure CLI ml-extensie v2 (huidig)Python SDK azure-ai-ml v2 (huidig)

Met Azure Machine Learning kunt u met verschillende typen modellen werken. In dit artikel leert u hoe u Azure Machine Learning kunt gebruiken om te werken met verschillende modeltypen, zoals aangepast, MLflow en Triton. U leert ook hoe u een model vanaf verschillende locaties registreert en hoe u de Azure Machine Learning SDK, de gebruikersinterface (UI) en de Azure Machine Learning CLI gebruikt om uw modellen te beheren.

Tip

Als u modelassets hebt gemaakt die gebruikmaken van de SDK/CLI v1, kunt u deze nog steeds gebruiken met SDK/CLI v2. Volledige achterwaartse compatibiliteit wordt geboden. Aan alle modellen die zijn geregistreerd bij de V1 SDK, wordt het type customtoegewezen.

Vereisten

• Een Azure-abonnement. Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint. Probeer de gratis of betaalde versie van Azure Machine Learning.
• Een Azure Machine Learning-werkruimte.
• De Azure Machine Learning SDK v2 voor Python.
• De Azure Machine Learning CLI v2.

Daarnaast moet u het volgende doen:

Azure-CLI

• Installeer de Azure CLI en de ml-extensie op de Azure CLI. Zie De CLI (v2) installeren, instellen en gebruiken voor meer informatie.

Python SDK

• De Azure Machine Learning SDK voor Python installeren

  pip install azure-ai-ml azure-identity
  

Ondersteunde paden

Wanneer u een model opgeeft dat u wilt registreren, moet u een path parameter opgeven die verwijst naar de locatie van de gegevens of taak. Hieronder ziet u een tabel met de verschillende gegevenslocaties die worden ondersteund in Azure Machine Learning en voorbeelden voor de path parameter:

Locatie	Voorbeelden
Een pad op uw lokale computer	mlflow-model/model.pkl
Een pad in een Azure Machine Learning-gegevensarchief	azureml://datastores/<datastore-name>/paths/<path_on_datastore>
Een pad van een Azure Machine Learning-taak	azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
Een pad van een MLflow-taak	runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
Een pad van een modelasset in Azure Machine Learning-werkruimte	azureml:<model-name>:<version>
Een pad van een modelasset in Azure Machine Learning Registry	azureml://registries/<registry-name>/models/<model-name>/versions/<version>

Ondersteunde modi

Wanneer u een taak uitvoert met modelinvoer/-uitvoer, kunt u de modus opgeven, bijvoorbeeld of u wilt dat het model alleen-lezen wordt gekoppeld of gedownload naar het rekendoel. In de onderstaande tabel ziet u de mogelijke modi voor verschillende combinaties van type/modus/invoer/uitvoer:

Type	Invoer/uitvoer	upload	download	ro_mount	rw_mount	direct
custom Bestand	Invoer
custom Map	Invoer		✓	✓		✓
mlflow	Invoer		✓	✓
custom Bestand	Uitvoer	✓			✓	✓
custom Map	Uitvoer	✓			✓	✓
mlflow	Uitvoer	✓			✓	✓

Meegaan in Jupyter Notebooks

U kunt dit voorbeeld volgen in een Jupyter Notebook. Open in de opslagplaats azureml-examples het notebook: model.ipynb.

Een model maken in het modelregister

Met modelregistratie kunt u uw modellen opslaan en versien in de Azure-cloud, in uw werkruimte. Het modelregister helpt u bij het organiseren en bijhouden van uw getrainde modellen.

De codefragmenten in deze sectie hebben betrekking op het volgende:

• Registreer uw model als een asset in Machine Learning met behulp van de CLI.
• Registreer uw model als een asset in Machine Learning met behulp van de SDK.
• Registreer uw model als een asset in Machine Learning met behulp van de gebruikersinterface.

Deze fragmenten gebruiken custom en mlflow.

• custom is een type dat verwijst naar een modelbestand of -map die is getraind met een aangepaste standaard die momenteel niet wordt ondersteund door Azure Machine Learning.
• mlflow is een type dat verwijst naar een model dat is getraind met mlflow. Door MLflow getrainde modellen bevinden zich in een map die het MLmodel-bestand , het modelbestand , het conda-afhankelijkhedenbestand en het requirements.txt-bestand bevat.

Verbinding maken met uw werkruimte

Eerst gaan we verbinding maken met de Azure Machine Learning-werkruimte waaraan we gaan werken.

Azure-CLI

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python SDK

De werkruimte is de resource op het hoogste niveau voor Azure Machine Learning en biedt een gecentraliseerde werkplek met alle artefacten die u maakt in Azure Machine Learning. In deze sectie maken we verbinding met de werkruimte waarin u implementatietaken gaat uitvoeren.

1. Importeer de vereiste bibliotheken:

   from azure.ai.ml import MLClient, Input
   from azure.ai.ml.entities import Model
   from azure.ai.ml.constants import AssetTypes
   from azure.identity import DefaultAzureCredential
   

2. Werkruimtedetails configureren en een ingang voor de werkruimte ophalen:

   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Uw model registreren als een asset in Machine Learning met behulp van de CLI

Gebruik de volgende tabbladen om te selecteren waar uw model zich bevindt.

Lokaal model

$schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
name: local-file-example
path: mlflow-model/model.pkl
description: Model created from local file.

az ml model create -f <file-name>.yml

Zie het YAML-model voor een volledig voorbeeld.

Gegevensarchief

U kunt een model maken op basis van een cloudpad met behulp van een van de volgende ondersteunde URI-indelingen.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

In de voorbeelden wordt het verkorte azureml schema gebruikt om naar een pad op de datastore te wijzen met behulp van de syntaxis azureml://datastores/<datastore-name>/paths/<path_on_datastore>.

Zie de CLI-naslaginformatie voor een volledig voorbeeld.

Taakuitvoer

U hebt hier twee opties. U kunt de URI-indeling voor MLflow-uitvoering gebruiken of u kunt de azureml job URI-indeling gebruiken.

MLflow

Deze optie is geoptimaliseerd voor MLflow-gebruikers, die waarschijnlijk al bekend zijn met de URI-indeling voor het uitvoeren van MLflow. Met deze optie kunt u een model maken van artefacten op de standaardlocatie van het artefact (waar alle door MLflow geregistreerde modellen en artefacten zich bevinden). Hiermee wordt een herkomst vastgesteld tussen een geregistreerd model en de uitvoering waaruit het model afkomstig is.

Formaat: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Voorbeeld: runs:/<run-id>/model/

az ml model create --name my-model --version 1 --path runs:/<run-id>/model/ --type mlflow_model

azureml-taak

Deze optie is een azureml job referentie-URI-indeling, waarmee u een model van artefacten kunt registreren in de uitvoer van de taak. Deze indeling is afgestemd op de bestaande azureml URI-indeling van het gegevensarchief en ondersteunt ook het verwijzen naar artefacten uit benoemde uitvoer van de taak (niet alleen de standaardlocatie van het artefact). U kunt een herkomst instellen tussen een geregistreerd model en de taak waaruit het is getraind, als u het model niet rechtstreeks in het trainingsscript hebt geregistreerd met behulp van MLflow.

Formaat: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>

Voorbeelden:

• Standaardlocatie van artefact: azureml://jobs/<run-id>/outputs/artifacts/paths/model/
  • Dit komt overeen met runs:/<run-id>/model/.
  • artefacten is het gereserveerde trefwoord dat verwijst naar de uitvoer die de standaardlocatie van het artefact vertegenwoordigt.
• Vanuit een benoemde uitvoermap: azureml://jobs/<run-id>/outputs/trained-model
• Vanuit een specifiek bestand of mappad in de benoemde uitvoermap:
  • azureml://jobs/<run-id>/outputs/trained-model/paths/cifar.pt
  • azureml://jobs/<run-id>/outputs/checkpoints/paths/model/

Model opslaan vanuit een benoemde uitvoer:

az ml model create --name my-model --version 1 --path azureml://jobs/<run-id>/outputs/trained-model

Zie de CLI-verwijzing voor een volledig voorbeeld.

Uw model registreren als asset in Machine Learning met behulp van de SDK

Gebruik de volgende tabbladen om te selecteren waar uw model zich bevindt.

Lokaal model

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Gegevensarchief

U kunt een model maken op basis van een cloudpad met behulp van een van de volgende ondersteunde URI-indelingen.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

In de voorbeelden wordt het verkorte azureml schema gebruikt om naar een pad op de datastore te wijzen met behulp van de syntaxis azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}}.

Taakuitvoer

U hebt hier twee opties. U kunt de MLflow-indeling voor het uitvoeren van de URI gebruiken of u kunt de azureml job URI-indeling gebruiken.

MLflow

Deze optie is geoptimaliseerd voor MLflow-gebruikers, die waarschijnlijk al bekend zijn met de URI-indeling van de MLflow-uitvoering. Met deze optie kunt u een model maken op basis van artefacten op de standaardlocatie van het artefact (waar alle door MLflow geregistreerde modellen en artefacten zich bevinden). Hiermee wordt een herkomst vastgesteld tussen een geregistreerd model en de uitvoering waaruit het model afkomstig is.

Formaat: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Voorbeeld: runs:/<run-id>/model/

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import ModelType

run_model = Model(
    path="runs:/<run-id>/model/"
    name="run-model-example",
    description="Model created from run.",
    type=ModelType.MLFLOW
)

ml_client.models.create_or_update(run_model) 

azureml-taak

Deze optie is een azureml job referentie-URI-indeling, waarmee u een model van artefacten kunt registreren in de uitvoer van de taak. Deze indeling is afgestemd op de bestaande azureml URI-indeling van het gegevensarchief en ondersteunt ook het verwijzen naar artefacten uit benoemde uitvoer van de taak (niet alleen de standaardlocatie van het artefact). U kunt een herkomst instellen tussen een geregistreerd model en de taak waaruit het is getraind, als u het model niet rechtstreeks in het trainingsscript hebt geregistreerd met behulp van MLflow.

Formaat: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>

Voorbeelden:

• Standaardlocatie van artefact: azureml://jobs/<run-id>/outputs/artifacts/paths/model/
  • Dit komt overeen met runs:/<run-id>/model/.
  • artefacten is het gereserveerde trefwoord dat verwijst naar de uitvoer die de standaardlocatie van het artefact vertegenwoordigt.
• Vanuit een benoemde uitvoermap: azureml://jobs/<run-id>/outputs/trained-model
• Vanuit een specifiek bestand of mappad in de benoemde uitvoermap:
  • azureml://jobs/<run-id>/outputs/trained-model/paths/cifar.pt
  • azureml://jobs/<run-id>/outputs/checkpoints/paths/model/

Model opslaan vanuit een benoemde uitvoer:

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

job_name = "<JOB_NAME>"

run_model = Model(
    path=f"azureml://jobs/{job_name}/outputs/artifacts/paths/model/",
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL,
)
# Uncomment after adding required details above
# ml_client.models.create_or_update(run_model)

Zie het modelnotebook voor een volledig voorbeeld.

Uw model registreren als een asset in Machine Learning met behulp van de gebruikersinterface

Als u een model wilt maken in Machine Learning, opent u vanuit de gebruikersinterface de pagina Modellen . Selecteer Model registreren en selecteer waar uw model zich bevindt. Vul de vereiste velden in en selecteer vervolgens Registreren.

---

Modellen beheren

Met de SDK en CLI (v2) kunt u ook de levenscyclus van uw Azure Machine Learning-modelassets beheren.

Lijst

Alle modellen in uw werkruimte weergeven:

Azure-CLI

az ml model list

Python SDK

models = ml_client.models.list()
for model in models:
    print(model.name)

Alle modelversies onder een bepaalde naam weergeven:

Azure-CLI

az ml model list --name run-model-example

Python SDK

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

Weergeven

De details van een specifiek model ophalen:

Azure-CLI

az ml model show --name run-model-example --version 1

Python SDK

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

Bijwerken

Veranderlijke eigenschappen van een specifiek model bijwerken:

Azure-CLI

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

Python SDK

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Belangrijk

Alleen voor het model description en tags kunnen worden bijgewerkt. Alle andere eigenschappen zijn onveranderbaar; Als u een van deze eigenschappen wilt wijzigen, moet u een nieuwe versie van het model maken.

Archiveren

Als u een model archivert, wordt het standaard verborgen voor lijstquery's (az ml model list). U kunt nog steeds verwijzen naar een gearchiveerd model en deze blijven gebruiken in uw werkstromen. U kunt alle versies van een model of alleen een specifieke versie archiveren.

Als u geen versie opgeeft, worden alle versies van het model onder die naam gearchiveerd. Als u een nieuwe modelversie maakt onder een gearchiveerde modelcontainer, wordt die nieuwe versie ook automatisch ingesteld als gearchiveerd.

Alle versies van een model archiveren:

Azure-CLI

az ml model archive --name run-model-example

Python SDK

ml_client.models.archive(name="run-model-example")

Een specifieke modelversie archiveren:

Azure-CLI

az ml model archive --name run-model-example --version 1

Python SDK

ml_client.models.archive(name="run-model-example", version="1")

Model gebruiken voor training

Met de SDK en CLI (v2) kunt u ook een model in een trainingstaak gebruiken als invoer of uitvoer.

Model gebruiken als invoer in een taak

Azure-CLI

Maak een YAML-bestand met taakspecificaties (<file-name>.yml). Geef in de inputs sectie van de taak het volgende op:

1. De type; of het model een mlflow_modelis ofcustom_modeltriton_model.
2. De path van waar uw gegevens zich bevinden; kan een van de paden zijn die worden beschreven in de sectie Ondersteunde paden .

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for models:
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

command: |
  ls ${{inputs.my_model}}
inputs:
  my_model:
    type: mlflow_model # List of all model types here: https://learn.microsoft.com/azure/machine-learning/reference-yaml-model#yaml-syntax
    path: ../../assets/model/mlflow-model
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

Voer vervolgens uit in de CLI

az ml job create -f <file-name>.yml

Zie de GitHub-opslagplaats van het model voor een volledig voorbeeld.

Python SDK

Met de Input klasse kunt u het volgende definiëren:

1. De type; of het model een mlflow_modelis ofcustom_modeltriton_model.
2. De path van waar uw gegevens zich bevinden; kan een van de paden zijn die worden beschreven in de sectie Ondersteunde paden .

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

# Possible Asset Types for Data:
# AssetTypes.MLFLOW_MODEL
# AssetTypes.CUSTOM_MODEL
# AssetTypes.TRITON_MODEL

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# Azure Machine Learning Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflowmodel")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Model gebruiken als uitvoer in een taak

In uw taak kunt u model schrijven naar uw cloudopslag met behulp van uitvoer.

Azure-CLI

Maak een YAML-bestand voor taakspecificatie (<file-name>.yml), waarbij de outputs sectie is gevuld met het type en pad waarnaar u uw gegevens wilt schrijven:

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

code: src
command: >-
  python hello-model-as-output.py 
  --input_model ${{inputs.input_model}} 
  --custom_model_output ${{outputs.output_folder}}
inputs:
  input_model: 
    type: mlflow_model # mlflow_model,custom_model, triton_model
    path: ../../assets/model/mlflow-model
outputs:
  output_folder: 
    type: custom_model # mlflow_model,custom_model, triton_model
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

Maak vervolgens een taak met behulp van de CLI:

az ml job create --file <file-name>.yml

Zie de GitHub-opslagplaats van het model voor een volledig voorbeeld.

Python SDK

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

# Possible Asset Types for Model:
# AssetTypes.MLFLOW_MODEL
# AssetTypes.CUSTOM_MODEL
# AssetTypes.TRITON_MODEL

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# Azure Machine Learning Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),
}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Volgende stappen

• Python SDK v2 installeren en instellen
• Implementatie zonder code voor MLflow-modellen
• Meer informatie over MLflow en Azure Machine Learning