Nasazení kanálů pomocí dávkových koncových bodů

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

Komponenty kanálu můžete nasadit v rámci dávkového koncového bodu a poskytnout tak pohodlný způsob jejich zprovoznění ve službě Azure Machine Learning. V tomto článku se dozvíte, jak vytvořit dávkové nasazení, které obsahuje jednoduchý pipeline. Naučíte se:

• Vytvoření a registrace komponenty úlohového kanálu
• Vytvořte dávkový koncový bod a nasadit komponentu potrubí
• Testujte nasazení

O tomto příkladu

V tomto příkladu nasadíte komponentu potrubí, která se skládá z jednoduché úlohy příkazu, jež zobrazuje "hello world!". Tato komponenta nevyžaduje žádné vstupy ani výstupy a představuje nejjednodušší způsob nasazení pipeline.

Příklad v tomto článku vychází z ukázek kódu obsažených v úložišti azureml-examples . Pokud chcete příkazy spustit místně, aniž byste museli kopírovat nebo vkládat YAML a další soubory, naklonujte úložiště pomocí následujících příkazů a přejděte do složky pro váš kódovací jazyk:

Azure CLI

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Soubory pro tento příklad jsou v:

cd endpoints/batch/deploy-pipelines/hello-batch

Sledování v poznámkových blocích Jupyter

Verzi sady Python SDK tohoto příkladu můžete prohlížet otevřením notebooku sdk-deploy-and-test.ipynb v naklonovaném úložišti.

Požadavky

• Předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet.

• Pracovní prostor služby Azure Machine Learning. Pokud chcete vytvořit pracovní prostor, přečtěte si téma Správa pracovních prostorů Služby Azure Machine Learning.

• Následující oprávnění v pracovním prostoru Azure Machine Learning:

  • Pro vytvoření nebo správu dávkových koncových bodů a nasazení použijte roli vlastníka, přispěvatele nebo vlastní roli, která má oprávnění Microsoft.MachineLearningServices/workspaces/batchEndpoints/*.
  • Pro vytváření nasazení v Azure Resource Manageru ve skupině prostředků pracovního prostoru použijte roli Vlastník, Přispěvatel nebo Vlastní role, která má Microsoft.Resources/deployments/write oprávnění ve skupině prostředků, kde je pracovní prostor nasazený.

• Azure Machine Learning CLI nebo sada Azure Machine Learning SDK pro Python:

  Azure CLI

  Spuštěním následujícího příkazu nainstalujte Azure CLI a mlrozšíření pro Azure Machine Learning:

  az extension add -n ml
  

  Nasazení komponent kanálu pro dávkové koncové body vyžadují rozšíření ml pro Azure CLI ve verzi 2.7 nebo novější (aktuální verze: 2.37.0). az extension update --name ml Pomocí příkazu získejte nejnovější verzi.

  Python

  Spuštěním následujícího příkazu nainstalujte sadu Azure Machine Learning SDK pro Python:

  pip install azure-ai-ml
  

  Třídy ModelBatchDeployment a PipelineComponentBatchDeployment vyžadují sadu SDK verze 1.7.0 nebo novější (aktuální verze: 1.32.0). pip install -U azure-ai-ml Pomocí příkazu získejte nejnovější verzi.

---

Připojení k pracovnímu prostoru

Pracovní prostor je prostředek nejvyšší úrovně pro Azure Machine Learning. Poskytuje centralizované místo pro práci se všemi artefakty, které vytvoříte při použití služby Azure Machine Learning. V této části se připojíte k pracovnímu prostoru, kde provádíte úkony související s nasazením.

Azure CLI

V následujícím příkazu zadejte ID předplatného, název pracovního prostoru, název skupiny prostředků a umístění:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python

1. Import požadovaných knihoven:

   from azure.ai.ml import MLClient, Input, load_component
   from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
   from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
   from azure.ai.ml.dsl import pipeline
   from azure.identity import DefaultAzureCredential
   

2. Nakonfigurujte podrobnosti pracovního prostoru a získejte ukazatel pracovního prostoru:

   V následujícím příkazu zadejte ID předplatného, název skupiny prostředků a název pracovního prostoru:

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Vytvořte komponentu kanálu

Koncové body služby Batch můžou nasazovat buď modely, nebo komponenty pipeline. Komponenty pipeline jsou opakovaně použitelné a můžete zefektivnit svou praxi MLOps využitím sdílených registrů k přesunu těchto komponent z jednoho pracovního prostoru do druhého.

Součást kanálu v tomto příkladu obsahuje jeden krok, který v protokolech vytiskne pouze zprávu "hello world". Nevyžaduje žádné vstupy ani výstupy.

Soubor hello-component/hello.yml obsahuje konfiguraci pro komponentu kanálu:

hello-component/hello.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponent.schema.json
name: hello_batch
display_name: Hello Batch component
version: 1
type: pipeline
jobs:
  main_job:
    type: command
    component:
      code: src
      environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
      command: >-
        python hello.py

Zaregistrujte komponentu:

Azure CLI

az ml component create -f hello-component/hello.yml

Python

hello_batch = load_component(source="hello-component/hello.yml")
hello_batch_registered = ml_client.components.create_or_update(hello_batch)

Vytvořte dávkový koncový bod

1. Zadejte název koncového bodu. Název dávkového koncového bodu musí být v každé oblasti jedinečný, protože se tento název používá k vytvoření URI volání. Pokud chcete zajistit jedinečnost, připojte k názvu zadanému v následujícím kódu všechny koncové znaky.

   Azure CLI

   ENDPOINT_NAME="hello-batch"
   

   Python

   endpoint_name = "hello-batch"

2. Konfigurace koncového bodu:

   Azure CLI

   Soubor endpoint.yml obsahuje konfiguraci koncového bodu.

   endpoint.yml

   $schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
   name: hello-batch
   description: A hello world endpoint for component deployments.
   auth_mode: aad_token
   

   Python

   endpoint = BatchEndpoint(
       name=endpoint_name,
       description="A hello world endpoint for component deployments",
   )

3. Vytvořte koncový bod:

   Azure CLI

   az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml
   

   Python

   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

4. Zadejte dotaz na identifikátor URI koncového bodu:

   Azure CLI

   az ml batch-endpoint show --name $ENDPOINT_NAME
   

   Python

   endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
   print(endpoint)

Nasazení komponenty kanálu

Pokud chcete nasadit komponentu pipeline, musíte vytvořit dávkové nasazení. Nasazení je sada prostředků potřebných k hostování prostředku, který provádí skutečnou práci.

1. Vytvořte výpočetní cluster. Koncové body a nasazení služby Batch běží na výpočetních clusterech. Můžou běžet na libovolném výpočetním clusteru Azure Machine Learning, který už v pracovním prostoru existuje. Proto může několik dávkových nasazení sdílet stejnou výpočetní infrastrukturu. V tomto příkladu použijete výpočetní cluster Azure Machine Learning s názvem batch-cluster. Ověřte, že výpočetní instance v pracovním prostoru existuje, nebo ji vytvořte, pokud neexistuje.

   Azure CLI

   az ml compute create -n batch-cluster --type amlcompute --min-instances 0 --max-instances 5
   

   Python

   compute_name = "batch-cluster"
   if not any(filter(lambda m: m.name == compute_name, ml_client.compute.list())):
       compute_cluster = AmlCompute(
           name=compute_name,
           description="Batch endpoints compute cluster",
           min_instances=0,
           max_instances=5,
       )
       ml_client.begin_create_or_update(compute_cluster).result()

2. Konfigurace nasazení:

   Azure CLI

   Soubor deployment.yml obsahuje konfiguraci nasazení. Můžete zkontrolovat, jestli schéma YAML celého dávkového koncového bodu obsahuje další vlastnosti.

   deployment.yml

   $schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
   name: hello-batch-dpl
   endpoint_name: hello-pipeline-batch
   type: pipeline
   component: azureml:hello_batch@latest
   settings:
       default_compute: batch-cluster
   

   Python

   deployment = PipelineComponentBatchDeployment(
       name="hello-batch-dpl",
       description="A hello world deployment with a single step.",
       endpoint_name=endpoint.name,
       component=hello_batch,
       settings={"continue_on_step_failure": False, "default_compute": compute_name},
   )

3. Vytvořte nasazení:

   Azure CLI

   Spuštěním následujícího kódu vytvořte dávkové nasazení v rámci koncového bodu dávky a nastavte ho jako výchozí nasazení.

   az ml batch-deployment create --endpoint $ENDPOINT_NAME -f deployment.yml --set-default
   

   Návod

   Všimněte si použití příznaku --set-default k označení, že toto nové nasazení je teď výchozí.

   Python

   Tento příkaz spustí vytvoření nasazení a během vytváření nasazení vrátí potvrzovací odpověď.

   ml_client.batch_deployments.begin_create_or_update(deployment).result()

   Po vytvoření nakonfigurujte toto nové nasazení jako výchozí:

   endpoint = ml_client.batch_endpoints.get(endpoint_name)
   endpoint.defaults.deployment_name = deployment.name
   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

4. Vaše implementace je připraveno k použití.

Testujte nasazení

Jakmile se nasazení vytvoří, je připravené přijímat pracovní úlohy. Výchozí nasazení můžete vyvolat následujícím způsobem:

Azure CLI

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
)

Návod

V tomto příkladu kanál nemá vstupy ani výstupy. Pokud však komponenta potrubí vyžaduje některé z nich, mohou být označeny při vyvolání. Další informace o tom, jak označit vstupy a výstupy, najdete v tématu Vytváření úloh a vstupních dat pro dávkové koncové body nebo v kurzu Nasazení kanálu pro provedení dávkového vyhodnocování pomocí předběžného zpracování.

Sledovat můžete průběh aplikace a streamovat protokoly pomocí:

Azure CLI

az ml job stream -n $JOB_NAME

Python

ml_client.jobs.get(job.name)

Pokud chcete počkat na dokončení úlohy, spusťte následující kód:

ml_client.jobs.stream(name=job.name)

Uvolnění prostředků

Jakmile budete hotovi, odstraňte přidružené prostředky z pracovního prostoru:

Azure CLI

Spuštěním následujícího kódu odstraňte koncový bod dávky a jeho základní nasazení. --yes slouží k potvrzení odstranění.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Python

Odstraňte koncový bod:

ml_client.batch_endpoints.begin_delete(endpoint_name).result()

(Volitelné) Odstraňte výpočetní prostředky, pokud neplánujete znovu použít výpočetní cluster s pozdějším nasazením.

Azure CLI

az ml compute delete -n batch-cluster

Python

ml_client.compute.begin_delete(name="batch-cluster")

Další kroky

• Jak nasadit tréninkovou pipeline s dávkovými koncovými body
• Jak nasadit pipeline pro dávkové vyhodnocování s předběžným zpracováním
• Vytvoření dávkových koncových bodů z úloh v rámci potrubí
• Vytváření úloh a vstupních dat pro dávkové koncové body
• Řešení potíží s dávkovými koncovými body