Práce s registrovanými modely ve službě Azure Machine Learning

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

V tomto článku se naučíte registrovat modely ve službě Azure Machine Learning a pracovat s jejich pomocí:

• Uživatelské rozhraní studio Azure Machine Learning.
• Rozhraní příkazového řádku Služby Azure Machine Learning verze 2
• The Python Azure Machine Learning V2 SDK.

Získáte informace pro:

• V registru modelů můžete vytvářet registrované modely z místních souborů, úložišť dat nebo výstupů úloh.
• Práce s různými typy modelů, jako jsou vlastní modely, MLflow a Triton.
• Modely používejte jako vstupy nebo výstupy v trénovacích úlohách.
• Správa životního cyklu prostředků modelu

Registrace modelu

Registrace modelu umožňuje ukládat a vytvářet verze modelů ve vašem pracovním prostoru v cloudu Azure. Registr modelů vám pomůže organizovat a sledovat trénované modely. Modely můžete zaregistrovat jako prostředky ve službě Azure Machine Learning pomocí Azure CLI, sady Python SDK nebo uživatelského rozhraní nástroje Machine Learning Studio.

Podporované cesty

Pokud chcete zaregistrovat model, musíte zadat cestu, která odkazuje na data nebo umístění úlohy. Následující tabulka uvádí různá umístění dat, která Azure Machine Learning podporuje, a syntaxi parametru path :

Umístění	Syntaxe
Místní počítač	<model-folder>/<model-filename>
Úložiště dat služby Azure Machine Learning	azureml://datastores/<datastore-name>/paths/<path_on_datastore>
Úloha Azure Machine Learning	azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
Úloha MLflow	runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
Prostředek modelu v pracovním prostoru Machine Learning	azureml:<model-name>:<version>
Prostředek modelu v registru služby Machine Learning	azureml://registries/<registry-name>/models/<model-name>/versions/<version>

Podporované režimy

Při použití modelů pro vstupy nebo výstupy můžete zadat jeden z následujících režimů. Můžete například určit, jestli se má model připojit jen pro čtení nebo stáhnout do cílového výpočetního objektu.

• ro_mount: Připojte data k cílovému výpočetnímu objektu jen pro čtení.
• rw_mount: Připojení dat pro čtení i zápis.
• download: Stáhněte si data do cílového výpočetního objektu.
• upload: Nahrajte data z cílového výpočetního objektu.
• direct: Předejte identifikátor URI jako řetězec.

Následující tabulka ukazuje dostupné možnosti režimu pro různé vstupy a výstupy typu modelu.

Typ	upload	download	ro_mount	rw_mount	direct
custom vstup souboru
custom vstup složky		✓	✓		✓
mlflow vstup		✓	✓
custom výstup souboru	✓			✓	✓
custom výstup složky	✓			✓	✓
mlflow výstup	✓			✓	✓

Požadavky

• Předplatné Azure s bezplatnou nebo placenou verzí služby Azure Machine Learning Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.
• Pracovní prostor Azure Machine Learning.

Pokud chcete spustit ukázky kódu v tomto článku a pracovat s azure Machine Learning V2 CLI nebo sadou Python Azure Machine Learning V2 SDK, potřebujete také:

Azure CLI

• Nainstalovaná verze Azure CLI 2.38.0 nebo novější

• Spuštěním následujícího příkazu nainstalujte rozšíření v2 ml . Další informace najdete v tématu Instalace, nastavení a použití rozhraní příkazového řádku (v2).

  az extension add -n ml
  

Python SDK

• Nainstalovaný Python 3.8 nebo novější

• Sada Azure Machine Learning SDK v2 pro Python nainstalovaná spuštěním následujícího příkazu:

  pip install azure-ai-ml azure-identity
  

Poznámka:

V2 poskytuje úplnou zpětnou kompatibilitu. Prostředky modelu můžete dál používat ze sady SDK nebo rozhraní příkazového řádku verze 1. Všechny modely zaregistrované pomocí rozhraní příkazového řádku nebo sady SDK verze 1 mají přiřazený typ custom.

Registrace modelu pomocí uživatelského rozhraní studia

Registrace modelu pomocí uživatelského rozhraní studio Azure Machine Learning:

1. V pracovním prostoru v sadě Studio vyberte v levém navigačním panelu modely .

2. Na stránce Seznam modelů vyberte Zaregistrovat a v rozevíracím seznamu vyberte jedno z následujících umístění:

   • Z místních souborů
   • Z výstupu úlohy
   • Z úložiště dat
   • Z místních souborů (na základě architektury)

3. Na první obrazovce registrace modelu :

   1. Přejděte do místního souboru, úložiště dat nebo výstupu úlohy pro váš model.
   2. Vyberte typ vstupního modelu: MLflow, Triton nebo Nespecifikovaný typ.

4. Na obrazovce Nastavení modelu zadejte název a další volitelná nastavení registrovaného modelu a vyberte Další.

5. Na obrazovce Revize zkontrolujte konfiguraci a pak vyberte Zaregistrovat.

Registrace modelu pomocí Azure CLI nebo sady Python SDK

Následující fragmenty kódu pokrývají, jak zaregistrovat model jako prostředek ve službě Azure Machine Learning pomocí Azure CLI nebo sady Python SDK. Tyto fragmenty kódu používají custom a mlflow typy modelů.

• custom Typ odkazuje na soubor modelu nebo složku natrénovanou vlastním standardem, který Azure Machine Learning v současné době nepodporuje.
• mlflow typ odkazuje na model natrénovaný pomocí MLflow. Trénované modely MLflow jsou ve složce, která obsahuje soubor MLmodel , soubor modelu , soubor závislostí conda a soubor requirements.txt .

Tip

S verzemi Pythonu následujících ukázek můžete postupovat spuštěním poznámkového bloku model.ipynb v úložišti azureml-examples .

Připojení k pracovnímu prostoru

Pracovní prostor je prostředek nejvyšší úrovně pro Azure Machine Learning, který nabízí centralizované místo, kde můžete pracovat se všemi artefakty, které vytvoříte při použití služby Azure Machine Learning. V této části se připojíte k pracovnímu prostoru Azure Machine Learning a vytvoříte zaregistrovaný model.

Azure CLI

1. Přihlaste se k Azure spuštěním az login a podle pokynů.

2. V následujících příkazech nahraďte <subscription-id>, <workspace-name>, <resource-group>a <location> zástupné symboly hodnotami pro vaše prostředí.

   az account set --subscription <subscription-id>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

Python SDK

1. Import požadovaných knihoven:

   from azure.ai.ml import MLClient, Input
   from azure.ai.ml.entities import Model
   from azure.ai.ml.constants import AssetTypes
   from azure.identity import DefaultAzureCredential
   

2. Nakonfigurujte podrobnosti pracovního prostoru a získejte popisovač pracovního prostoru. V následujícím fragmentu <subscription-id>kódu nahraďte symboly <workspace-name> a <resource-group>zástupné symboly hodnotami pro vaše prostředí.

   subscription_id = "<subscription-id>"
   resource_group = "<resource-group>"
   workspace = "<workspace-name>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Vytvoření registrovaného modelu

Registrovaný model můžete vytvořit z modelu, který je:

• Nachází se v místním počítači.
• Nachází se v úložišti dat služby Azure Machine Learning.
• Výstup z úlohy Azure Machine Learning

Místní soubor nebo složka

Azure CLI

1. Vytvořte název> souboru <YAML.yml. V souboru zadejte název registrovaného modelu, cestu k místnímu souboru modelu a popis. Příklad:

   $schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
   name: local-file-example
   path: mlflow-model/model.pkl
   description: Model created from local file.
   

2. Spusťte následující příkaz s použitím názvu souboru YAML:

   az ml model create -f <file-name>.yml
   

Úplný příklad najdete v modelu YAML.

Python SDK

Následující příklad ukazuje vytvoření registrovaného modelu z místního souboru.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Úložiště dat

Model můžete vytvořit z cloudové cesty pomocí libovolného podporovaného formátu identifikátoru URI.

Azure CLI

Následující příklad používá azureml zkrácené schéma pro odkazování na cestu v úložišti dat pomocí syntaxe azureml://datastores/<datastore-name>/paths/<path_on_datastore>.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

Úplný příklad najdete v referenčních informacích k rozhraní příkazového řádku.

Python SDK

Následující příklad používá azureml zkrácené schéma pro odkazování na cestu v úložišti dat pomocí syntaxe azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}}.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

Výstup úlohy

Pokud data modelu pocházejí z výstupu úlohy, máte dvě možnosti pro zadání cesty modelu. Můžete použít formát URI MLflow runs: nebo azureml://jobs formát URI.

Poznámka:

Rezervované klíčové slovo artefaktů představuje výstup z výchozího umístění artefaktu.

• Spuštění MLflow: formát identifikátoru URI

  Tato možnost je optimalizovaná pro uživatele MLflow, kteří už pravděpodobně znají formát URI MLflow runs: . Tato možnost vytvoří model z artefaktů ve výchozím umístění artefaktů, kde se nacházejí všechny modely a artefakty protokolované MLflow. Tato možnost také vytvoří rodokmen mezi registrovaným modelem a spuštěním modelu pochází.

  Formát: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

  Příklad:

  Azure CLI

  az ml model create --name my-registered-model --version 1 --path runs:/my_run_0000000000/model/ --type mlflow_model
  

  Python SDK

  from azure.ai.ml.entities import Model
  from azure.ai.ml.constants import ModelType
  
  run_model = Model(
      path="runs:/my_run_0000000000/model/"
      name="my-registered-model",
      description="Model created from run.",
      type=ModelType.MLFLOW_MODEL
  )
  
  ml_client.models.create_or_update(run_model) 
  

---

• formát identifikátoru URI azureml://jobs

  Možnost azureml://jobs referenčního identifikátoru URI umožňuje zaregistrovat model z artefaktů v libovolné z výstupních cest úlohy. Tento formát odpovídá formátu referenčního identifikátoru azureml://datastores URI a podporuje také odkazování na artefakty z pojmenovaných výstupů jiných než výchozího umístění artefaktů.

  Pokud jste model v trénovacím skriptu neregistrovali přímo pomocí MLflow, můžete pomocí této možnosti vytvořit rodokmen mezi registrovaným modelem a úlohou, ze které byl trénován.

  Formát: azureml://jobs/<run-id>/outputs/<output-name>/paths/<path-to-model>

  • Výchozí umístění artefaktu: azureml://jobs/<run-id>/outputs/artifacts/paths/<path-to-model>/. Toto umístění je ekvivalentní MLflow runs:/<run-id>/<model>.
  • Pojmenovaná výstupní složka: azureml://jobs/<run-id>/outputs/<named-output-folder>
  • Konkrétní soubor v pojmenované výstupní složce: azureml://jobs/<run-id>/outputs/<named-output-folder>/paths/<model-filename>
  • Konkrétní cesta ke složce v pojmenované výstupní složce: azureml://jobs/<run-id>/outputs/<named-output-folder>/paths/<model-folder-name>

  Příklad:

  Azure CLI

  Uložte model z pojmenované výstupní složky:

  az ml model create --name run-model-example --version 1 --path azureml://jobs/my_run_0000000000/outputs/artifacts/paths/model/
  

  Úplný příklad najdete v referenčních informacích k rozhraní příkazového řádku.

  Python SDK

  Uložte model z pojmenovaného výstupu:

  from azure.ai.ml.entities import Model
  from azure.ai.ml.constants import AssetTypes
  
  job_name = "<JOB_NAME>"
  
  run_model = Model(
      path=f"azureml://jobs/{job_name}/outputs/artifacts/paths/model/",
      name="run-model-example",
      description="Model created from run.",
      type=AssetTypes.MLFLOW_MODEL,
  )
  # Uncomment after adding required details above
  # ml_client.models.create_or_update(run_model)

  Úplný příklad najdete v poznámkovém bloku modelu.

---

Použití modelů pro trénování

Sada Azure CLI v2 a Python SDK také umožňují používat modely jako vstupy nebo výstupy v trénovacích úlohách.

Použití modelu jako vstupu v trénovací úloze

Azure CLI

1. Vytvořte soubor YAML specifikace úlohy, <název> souboru.yml. inputs V části úlohy zadejte:

   • Model type, který může být mlflow_model, custom_modelnebo triton_model.
   • Umístění path modelu, které může být libovolná z cest uvedených v komentáři v následujícím příkladu.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   
   # Possible Paths for models:
   # AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
   # MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
   # Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
   # Model Asset: azureml:<my_model>:<version>
   
   command: |
     ls ${{inputs.my_model}}
   inputs:
     my_model:
       type: mlflow_model # List of all model types here: https://learn.microsoft.com/azure/machine-learning/reference-yaml-model#yaml-syntax
       path: ../../assets/model/mlflow-model
   environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
   

2. Spusťte následující příkaz a nahraďte název souboru YAML.

   az ml job create -f <file-name>.yml
   

Kompletní příklad najdete v modelu úložiště GitHub.

Python SDK

Třída Input umožňuje definovat:

• Typ prostředku modelu, který může být jednou z následujících hodnot:

  • AssetTypes.CUSTOM_MODEL
  • AssetTypes.MLFLOW_MODEL
  • AssetTypes.TRITON_MODEL

• Data path modelu, která můžou být jedním z následujících umístění:

  • Místní cesta: <model-folder>/<model-filename>
  • Úložiště dat služby Azure Machine Learning: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
  • Spuštění MLflow: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
  • Práce: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
  • Asset modelu: azureml:<my_model>:<version>

Následující příklad zadává model MLflow z místní složky.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Zápis modelu jako výstupu pro úlohu

Vaše úloha může napsat model do cloudového úložiště pomocí výstupů.

Azure CLI

1. Vytvořte název> souboru <YAML specifikace úlohy.yml. Naplňte outputs oddíl typem a cestou výstupního modelu.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   
   # Possible Paths for Model:
   # Local path: mlflow-model/model.pkl
   # AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
   # MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
   # Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
   # Model Asset: azureml:<my_model>:<version>
   
   code: src
   command: >-
     python hello-model-as-output.py 
     --input_model ${{inputs.input_model}} 
     --custom_model_output ${{outputs.output_folder}}
   inputs:
     input_model: 
       type: mlflow_model # mlflow_model,custom_model, triton_model
       path: ../../assets/model/mlflow-model
   outputs:
     output_folder: 
       type: custom_model # mlflow_model,custom_model, triton_model
   environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
   

2. Vytvoření úlohy pomocí rozhraní příkazového řádku:

   az ml job create --file <file-name>.yml
   

Kompletní příklad najdete v modelu úložiště GitHub.

Python SDK

Třída Output umožňuje definovat:

• Typ prostředku modelu, který může být jednou z následujících hodnot:

  • AssetTypes.CUSTOM_MODEL
  • AssetTypes.MLFLOW_MODEL
  • AssetTypes.TRITON_MODEL

• Data path modelu, která můžou být jedním z následujících umístění:

  • Místní cesta: mlflow-model/model.pkl
  • Úložiště dat služby Azure Machine Learning: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
  • Spuštění MLflow: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
  • Práce: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
  • Asset modelu: azureml:<my_model>:<version>

Následující příklad vytvoří výstup, který připojí výchozí úložiště dat v režimu čtení i zápisu. Kód jednoduše načte místní model MLflow jako vstup a exportuje stejný model jako výstup úlohy uložené v připojeném úložišti dat.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Správa modelů

Azure CLI a Python SDK také umožňují spravovat životní cyklus prostředků modelu Azure Machine Learning.

List

Azure CLI

Zobrazení seznamu všech modelů v pracovním prostoru:

az ml model list

Vypíše všechny verze modelu pod daným názvem:

az ml model list --name run-model-example

Python SDK

Zobrazení seznamu všech modelů v pracovním prostoru:

models = ml_client.models.list()
for model in models:
    print(model.name)

Vypíše všechny verze modelu pod daným názvem:

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

Zobrazit

Získejte podrobnosti o konkrétním modelu:

Azure CLI

az ml model show --name run-model-example --version 1

Python SDK

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

Aktualizovat

Aktualizujte proměnlivé vlastnosti konkrétního modelu:

Důležité

Pouze pro modely description a tags je možné je aktualizovat. Všechny ostatní vlastnosti jsou neměnné a pokud je potřebujete změnit, měli byste vytvořit novou verzi modelu.

Azure CLI

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

Python SDK

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Archiv

Archivace modelu ho ve výchozím nastavení skryje před dotazy az ml model list seznamu. V pracovních postupech můžete dál odkazovat na archivovaný model a používat ho.

Můžete archivovat všechny verze nebo jenom konkrétní verze modelu. Pokud nezadáte verzi, všechny verze modelu se archivují. Pokud vytvoříte novou verzi modelu v kontejneru archivovaného modelu, nová verze se také automaticky nastaví jako archivovaná.

Azure CLI

Archivujte všechny verze modelu:

az ml model archive --name run-model-example

Archivace konkrétní verze modelu:

az ml model archive --name run-model-example --version 1

Python SDK

Archivujte všechny verze modelu:

ml_client.models.archive(name="run-model-example")

Archivace konkrétní verze modelu:

ml_client.models.archive(name="run-model-example", version="1")

Související obsah

• Sdílení modelů, komponent a prostředí napříč pracovními prostory pomocí registrů
• Klientská knihovna balíčků Azure Machine Learning pro Python – verze 1.16.1
• Rozšíření Azure CLI ml
• MLflow a Azure Machine Learning
• Nasazení modelů MLflow do online koncových bodů