Arbeta med modeller i Azure Machine Learning

GÄLLER FÖR:Azure CLI ml extension v2 (aktuell)Python SDK azure-ai-ml v2 (aktuell)

Med Azure Machine Learning kan du arbeta med olika typer av modeller. I den här artikeln får du lära dig mer om hur du använder Azure Machine Learning för att arbeta med olika modelltyper, till exempel anpassade, MLflow och Triton. Du lär dig också hur du registrerar en modell från olika platser och hur du använder Azure Machine Learning SDK, användargränssnittet (UI) och Azure Machine Learning CLI för att hantera dina modeller.

Tips

Om du har skapat modelltillgångar som använder SDK/CLI v1 kan du fortfarande använda dem med SDK/CLI v2. Fullständig bakåtkompatibilitet tillhandahålls. Alla modeller som registrerats med V1 SDK tilldelas typen custom.

Förutsättningar

• En Azure-prenumeration. Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar. Prova den kostnadsfria eller betalda versionen av Azure Machine Learning.
• En Azure Machine Learning-arbetsyta.
• Azure Machine Learning SDK v2 för Python.
• Azure Machine Learning CLI v2.

Dessutom måste du:

Azure CLI

• Installera Azure CLI och ml-tillägget till Azure CLI. Mer information finns i Installera, konfigurera och använda CLI (v2).

Python SDK

• Installera Azure Machine Learning SDK för Python

  pip install azure-ai-ml azure-identity
  

Sökvägar som stöds

När du anger en modell som du vill registrera måste du ange en path parameter som pekar på data eller jobbplats. Nedan visas en tabell som visar de olika dataplatser som stöds i Azure Machine Learning och exempel för parametern path :

Location	Exempel
En sökväg på den lokala datorn	mlflow-model/model.pkl
En sökväg i ett Azure Machine Learning-datalager	azureml://datastores/<datastore-name>/paths/<path_on_datastore>
En sökväg från ett Azure Machine Learning-jobb	azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
En sökväg från ett MLflow-jobb	runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
En sökväg från en modelltillgång i Azure Machine Learning-arbetsytan	azureml:<model-name>:<version>
En sökväg från en modelltillgång i Azure Machine Learning Registry	azureml://registries/<registry-name>/models/<model-name>/versions/<version>

Lägen som stöds

När du kör ett jobb med modellindata/utdata kan du ange läget , till exempel om du vill att modellen ska vara skrivskyddad monterad eller laddas ned till beräkningsmålet. Tabellen nedan visar möjliga lägen för olika kombinationer av typ/läge/indata/utdata:

Typ	Indata/utdata	upload	download	ro_mount	rw_mount	direct
custom Filen	Indata
custom Mappen	Indata		✓	✓		✓
mlflow	Indata		✓	✓
custom Filen	Utdata	✓			✓	✓
custom Mappen	Utdata	✓			✓	✓
mlflow	Utdata	✓			✓	✓

Följ med i Jupyter Notebooks

Du kan följa det här exemplet i en Jupyter Notebook. Öppna notebook-filen: model.ipynb på lagringsplatsen azureml-examples.

Skapa en modell i modellregistret

Med modellregistrering kan du lagra och versionshantera dina modeller i Azure-molnet på din arbetsyta. Modellregistret hjälper dig att organisera och hålla reda på dina tränade modeller.

Kodfragmenten i det här avsnittet beskriver hur du:

• Registrera din modell som en tillgång i Machine Learning med hjälp av CLI.
• Registrera din modell som en tillgång i Machine Learning med hjälp av SDK:t.
• Registrera din modell som en tillgång i Machine Learning med hjälp av användargränssnittet.

Dessa kodfragment använder custom och mlflow.

• custom är en typ som refererar till en modellfil eller mapp som tränats med en anpassad standard som för närvarande inte stöds av Azure Machine Learning.
• mlflow är en typ som refererar till en modell som tränats med mlflow. MLflow-tränade modeller finns i en mapp som innehåller MLmodel-filen , modellfilen , conda-beroendefilen och filenrequirements.txt .

Anslut till arbetsytan

Först ska vi ansluta till Azure Machine Learning-arbetsytan där vi ska arbeta med.

Azure CLI

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python SDK

Arbetsytan är resursen på den översta nivån i Azure Machine Learning, och är en central plats där du kan arbeta med alla artefakter du skapar när du använder Azure Machine Learning. I det här avsnittet ansluter vi till arbetsytan där du ska utföra distributionsuppgifter.

1. Importera de bibliotek som krävs:

   from azure.ai.ml import MLClient, Input
   from azure.ai.ml.entities import Model
   from azure.ai.ml.constants import AssetTypes
   from azure.identity import DefaultAzureCredential
   

2. Konfigurera information om arbetsytan och få ett handtag till arbetsytan:

   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Registrera din modell som en tillgång i Machine Learning med hjälp av CLI

Använd följande flikar för att välja var din modell finns.

Lokal modell

$schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
name: local-file-example
path: mlflow-model/model.pkl
description: Model created from local file.

az ml model create -f <file-name>.yml

Ett fullständigt exempel finns i modellen YAML.

Datalager

Du kan skapa en modell från en molnsökväg med något av följande URI-format som stöds.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

Exemplen använder det korta azureml schemat för att peka på en sökväg i datastore med hjälp av syntaxen azureml://datastores/<datastore-name>/paths/<path_on_datastore>.

Ett fullständigt exempel finns i CLI-referensen.

Jobbutdata

Du har två alternativ här. Du kan använda URI-formatet för MLflow-körning eller använda azureml job URI-formatet.

MLflow

Det här alternativet är optimerat för MLflow-användare, som förmodligen redan är bekanta med MLflow-körningens URI-format. Det här alternativet hjälper dig att skapa en modell från artefakter på standardartefaktplatsen (där alla MLflow-loggade modeller och artefakter finns). Detta upprättar en härstamning mellan en registrerad modell och körningen som modellen kom från.

Format: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Exempel: runs:/<run-id>/model/

az ml model create --name my-model --version 1 --path runs:/<run-id>/model/ --type mlflow_model

azureml-jobb

Det här alternativet är ett azureml job referens-URI-format som hjälper dig att registrera en modell från artefakter i något av jobbets utdata. Det här formatet är justerat med det befintliga azureml referens-URI-formatet för datalager och stöder även referenser till artefakter från namngivna utdata för jobbet (inte bara standardartefaktplatsen). Du kan upprätta en härstamning mellan en registrerad modell och jobbet den tränades från, om du inte registrerade din modell direkt i träningsskriptet med hjälp av MLflow.

Format: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>

Exempel:

• Standardartefaktplats: azureml://jobs/<run-id>/outputs/artifacts/paths/model/
  • Detta motsvarar runs:/<run-id>/model/.
  • artefakter är det reserverade nyckelordet för att referera till utdata som representerar standardartefaktplatsen.
• Från en namngiven utdatakatalog: azureml://jobs/<run-id>/outputs/trained-model
• Från en specifik fil- eller mappsökväg i den namngivna utdatakatalogen:
  • azureml://jobs/<run-id>/outputs/trained-model/paths/cifar.pt
  • azureml://jobs/<run-id>/outputs/checkpoints/paths/model/

Spara modellen från en namngiven utdata:

az ml model create --name my-model --version 1 --path azureml://jobs/<run-id>/outputs/trained-model

Ett fullständigt exempel finns i CLI-referensen.

Registrera din modell som en tillgång i Machine Learning med hjälp av SDK

Använd följande flikar för att välja var din modell finns.

Lokal modell

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Datalager

Du kan skapa en modell från en molnsökväg med något av följande URI-format som stöds.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

Exemplen använder det korta azureml schemat för att peka på en sökväg i datastore med hjälp av syntaxen azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}}.

Jobbutdata

Du har två alternativ här. Du kan använda URI-formatet för MLflow-körning eller använda azureml job URI-formatet.

MLflow

Det här alternativet är optimerat för MLflow-användare, som förmodligen redan är bekanta med MLflow-körningens URI-format. Det här alternativet hjälper dig att skapa en modell från artefakter på standardartefaktplatsen (där alla MLflow-loggade modeller och artefakter finns). Detta upprättar en härstamning mellan en registrerad modell och körningen som modellen kom från.

Format: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Exempel: runs:/<run-id>/model/

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import ModelType

run_model = Model(
    path="runs:/<run-id>/model/"
    name="run-model-example",
    description="Model created from run.",
    type=ModelType.MLFLOW
)

ml_client.models.create_or_update(run_model) 

azureml-jobb

Det här alternativet är ett azureml job referens-URI-format som hjälper dig att registrera en modell från artefakter i något av jobbets utdata. Det här formatet är justerat med det befintliga azureml referens-URI-formatet för datalager och stöder även referenser till artefakter från namngivna utdata för jobbet (inte bara standardartefaktplatsen). Du kan upprätta en härstamning mellan en registrerad modell och jobbet den tränades från, om du inte registrerade din modell direkt i träningsskriptet med hjälp av MLflow.

Format: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>

Exempel:

• Standardartefaktplats: azureml://jobs/<run-id>/outputs/artifacts/paths/model/
  • Detta motsvarar runs:/<run-id>/model/.
  • artefakter är det reserverade nyckelordet för att referera till utdata som representerar standardartefaktplatsen.
• Från en namngiven utdatakatalog: azureml://jobs/<run-id>/outputs/trained-model
• Från en specifik fil- eller mappsökväg i den namngivna utdatakatalogen:
  • azureml://jobs/<run-id>/outputs/trained-model/paths/cifar.pt
  • azureml://jobs/<run-id>/outputs/checkpoints/paths/model/

Spara modellen från en namngiven utdata:

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

job_name = "<JOB_NAME>"

run_model = Model(
    path=f"azureml://jobs/{job_name}/outputs/artifacts/paths/model/",
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL,
)
# Uncomment after adding required details above
# ml_client.models.create_or_update(run_model)

Ett fullständigt exempel finns i modellanteckningsboken.

Registrera din modell som en tillgång i Machine Learning med hjälp av användargränssnittet

Om du vill skapa en modell i Machine Learning öppnar du sidan Modeller från användargränssnittet. Välj Registrera modell och välj var din modell finns. Fyll i de obligatoriska fälten och välj sedan Registrera.

---

Hantera modeller

Med SDK och CLI (v2) kan du också hantera livscykeln för dina Azure Machine Learning-modelltillgångar.

Lista

Visa en lista över alla modeller på din arbetsyta:

Azure CLI

az ml model list

Python SDK

models = ml_client.models.list()
for model in models:
    print(model.name)

Visa en lista över alla modellversioner under ett givet namn:

Azure CLI

az ml model list --name run-model-example

Python SDK

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

Visa

Hämta information om en specifik modell:

Azure CLI

az ml model show --name run-model-example --version 1

Python SDK

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

Uppdatera

Uppdatera föränderliga egenskaper för en specifik modell:

Azure CLI

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

Python SDK

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Viktigt

Endast för modell description och tags kan uppdateras. Alla andra egenskaper är oföränderliga. om du behöver ändra någon av dessa egenskaper bör du skapa en ny version av modellen.

Arkiv

Om du arkiverar en modell döljs den som standard från listfrågor (az ml model list). Du kan fortfarande fortsätta att referera till och använda en arkiverad modell i dina arbetsflöden. Du kan arkivera antingen alla versioner av en modell eller bara en viss version.

Om du inte anger någon version arkiveras alla versioner av modellen under det angivna namnet. Om du skapar en ny modellversion under en container för arkiverad modell anges även den nya versionen automatiskt som arkiverad.

Arkivera alla versioner av en modell:

Azure CLI

az ml model archive --name run-model-example

Python SDK

ml_client.models.archive(name="run-model-example")

Arkivera en specifik modellversion:

Azure CLI

az ml model archive --name run-model-example --version 1

Python SDK

ml_client.models.archive(name="run-model-example", version="1")

Använd modell för träning

Med SDK och CLI (v2) kan du också använda en modell i ett träningsjobb som indata eller utdata.

Använda modellen som indata i ett jobb

Azure CLI

Skapa en YAML-fil för jobbspecifikation (<file-name>.yml). Ange i avsnittet inputs för jobbet:

1. ; typeoavsett om modellen är en mlflow_model,custom_model eller triton_model.
2. Den path plats där dina data finns, kan vara någon av sökvägarna som beskrivs i avsnittet Sökvägar som stöds .

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for models:
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

command: |
  ls ${{inputs.my_model}}
inputs:
  my_model:
    type: mlflow_model # List of all model types here: https://learn.microsoft.com/azure/machine-learning/reference-yaml-model#yaml-syntax
    path: ../../assets/model/mlflow-model
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

Kör sedan i CLI

az ml job create -f <file-name>.yml

Ett fullständigt exempel finns i github-modellens lagringsplats.

Python SDK

Med Input klassen kan du definiera:

1. ; typeoavsett om modellen är en mlflow_model,custom_model eller triton_model.
2. Den path plats där dina data finns, kan vara någon av sökvägarna som beskrivs i avsnittet Sökvägar som stöds .

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

# Possible Asset Types for Data:
# AssetTypes.MLFLOW_MODEL
# AssetTypes.CUSTOM_MODEL
# AssetTypes.TRITON_MODEL

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# Azure Machine Learning Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflowmodel")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Använda modellen som utdata i ett jobb

I ditt jobb kan du skriva modellen till din molnbaserade lagring med hjälp av utdata.

Azure CLI

Skapa en YAML-fil för jobbspecifikation (<file-name>.yml), med avsnittet outputs fyllt med den typ och sökväg där du vill skriva dina data till:

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

code: src
command: >-
  python hello-model-as-output.py 
  --input_model ${{inputs.input_model}} 
  --custom_model_output ${{outputs.output_folder}}
inputs:
  input_model: 
    type: mlflow_model # mlflow_model,custom_model, triton_model
    path: ../../assets/model/mlflow-model
outputs:
  output_folder: 
    type: custom_model # mlflow_model,custom_model, triton_model
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

Skapa sedan ett jobb med hjälp av CLI:

az ml job create --file <file-name>.yml

Ett fullständigt exempel finns i github-modellens lagringsplats.

Python SDK

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

# Possible Asset Types for Model:
# AssetTypes.MLFLOW_MODEL
# AssetTypes.CUSTOM_MODEL
# AssetTypes.TRITON_MODEL

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# Azure Machine Learning Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),
}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Nästa steg

• Installera och konfigurera Python SDK v2
• Distribution utan kod för MLflow-modeller
• Läs mer om MLflow och Azure Machine Learning