Como implantar pipelines com pontos de extremidade em lote

APLICA-SE A:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Você pode implantar componentes de pipeline em um ponto de extremidade em lote, fornecendo uma maneira conveniente de operacionalizá-los no Aprendizado de Máquina do Azure. Neste artigo, você aprenderá como criar uma implantação em lote que contém um pipeline simples. Ficará a saber como:

• Criar e registrar um componente de pipeline
• Criar um ponto de extremidade em lote e implantar um componente de pipeline
• Testar a implementação

Sobre este exemplo

Neste exemplo, vamos implantar um componente de pipeline que consiste em um trabalho de comando simples que imprime "hello world!". Esse componente não requer entradas ou saídas e é o cenário de implantação de pipeline mais simples.

O exemplo neste artigo é baseado em exemplos de código contidos no repositório azureml-examples . Para executar os comandos localmente sem ter que copiar/colar YAML e outros arquivos, primeiro clone o repositório e, em seguida, altere os diretórios para a pasta:

CLI do Azure

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Os arquivos para este exemplo estão em:

cd endpoints/batch/deploy-pipelines/hello-batch

Acompanhe nos cadernos Jupyter

Você pode acompanhar a versão do SDK do Python deste exemplo abrindo o bloco de anotações sdk-deploy-and-test.ipynb no repositório clonado.

Pré-requisitos

Antes de seguir as etapas neste artigo, verifique se você tem os seguintes pré-requisitos:

• Uma subscrição do Azure. Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar. Experimente a versão gratuita ou paga do Azure Machine Learning.

• Uma área de trabalho do Azure Machine Learning. Se você não tiver um, use as etapas no artigo Gerenciar espaços de trabalho do Azure Machine Learning para criar um.

• Verifique se você tem as seguintes permissões no espaço de trabalho:

  • Criar ou gerenciar pontos de extremidade em lote e implantações: use uma função Proprietário, Colaborador ou Personalizada que permita Microsoft.MachineLearningServices/workspaces/batchEndpoints/*o .

  • Criar implantações ARM no grupo de recursos do espaço de trabalho: use uma função Proprietário, Colaborador ou Personalizada que permita Microsoft.Resources/deployments/write a entrada no grupo de recursos em que o espaço de trabalho está implantado.

• Você precisa instalar o seguinte software para trabalhar com o Azure Machine Learning:

  CLI do Azure

  A CLI do Azure e a mlextensão do Azure Machine Learning.

  az extension add -n ml
  

  Nota

  As implantações de componentes de pipeline para pontos de extremidade em lote foram introduzidas na versão 2.7 da extensão para CLI ml do Azure. Use az extension update --name ml para obter a última versão dele.

  Python

  O SDK do Azure Machine Learning para Python.

  pip install azure-ai-ml
  

  Nota

  Classes ModelBatchDeployment e PipelineComponentBatchDeployment foram introduzidas na versão 1.7.0 do SDK. Use pip install -U azure-ai-ml para obter a última versão dele.

Ligar à sua área de trabalho

A área de trabalho é o recurso de nível superior do Azure Machine Learning que proporciona um local centralizado para trabalhar com todos os artefactos que cria quando utiliza o Azure Machine Learning. Nesta seção, nos conectaremos ao espaço de trabalho no qual você executará tarefas de implantação.

CLI do Azure

Passe os valores para sua ID de assinatura, espaço de trabalho, local e grupo de recursos no seguinte código:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python

1. Importe as bibliotecas necessárias:

   from azure.ai.ml import MLClient, Input, load_component
   from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
   from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
   from azure.ai.ml.dsl import pipeline
   from azure.identity import DefaultAzureCredential
   

2. Configure os detalhes do espaço de trabalho e obtenha um identificador para o espaço de trabalho:

   Passe os valores para sua ID de assinatura, espaço de trabalho e grupo de recursos no código a seguir:

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Criar o componente de pipeline

Os pontos de extremidade em lote podem implantar modelos ou componentes de pipeline. Os componentes de pipeline são reutilizáveis e você pode simplificar sua prática de MLOps usando registros compartilhados para mover esses componentes de um espaço de trabalho para outro.

O componente pipeline neste exemplo contém uma única etapa que apenas imprime uma mensagem "hello world" nos logs. Não requer entradas ou saídas.

O hello-component/hello.yml arquivo contém a configuração para o componente de pipeline:

Olá-componente/hello.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponent.schema.json
name: hello_batch
display_name: Hello Batch component
version: 1
type: pipeline
jobs:
  main_job:
    type: command
    component:
      code: src
      environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
      command: >-
        python hello.py

Registre o componente:

CLI do Azure

az ml component create -f hello-component/hello.yml

Python

hello_batch = load_component(source="hello-component/hello.yml")
hello_batch_registered = ml_client.components.create_or_update(hello_batch)

Criar um ponto de extremidade em lote

1. Forneça um nome para o ponto de extremidade. O nome de um ponto de extremidade em lote precisa ser exclusivo em cada região, pois o nome é usado para construir o URI de invocação. Para garantir a exclusividade, acrescente quaisquer caracteres à direita ao nome especificado no código a seguir.

   CLI do Azure

   ENDPOINT_NAME="hello-batch"
   

   Python

   endpoint_name = "hello-batch"

2. Configure o ponto de extremidade:

   CLI do Azure

   O endpoint.yml arquivo contém a configuração do ponto de extremidade.

   endpoint.yml

   $schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
   name: hello-batch
   description: A hello world endpoint for component deployments.
   auth_mode: aad_token
   

   Python

   endpoint = BatchEndpoint(
       name=endpoint_name,
       description="A hello world endpoint for component deployments",
   )

3. Crie o ponto de extremidade:

   CLI do Azure

   az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml
   

   Python

   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

4. Consulte o URI do ponto de extremidade:

   CLI do Azure

   az ml batch-endpoint show --name $ENDPOINT_NAME
   

   Python

   endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
   print(endpoint)

Implantar o componente de pipeline

Para implantar o componente de pipeline, temos que criar uma implantação em lote. Uma implantação é um conjunto de recursos necessários para hospedar o ativo que faz o trabalho real.

1. Crie um cluster de computação. Pontos de extremidade em lote e implantações são executados em clusters de computação. Eles podem ser executados em qualquer cluster de computação do Azure Machine Learning que já exista no espaço de trabalho. Portanto, várias implantações em lote podem compartilhar a mesma infraestrutura de computação. Neste exemplo, trabalharemos em um cluster de computação do Azure Machine Learning chamado batch-cluster. Vamos verificar se a computação existe no espaço de trabalho ou criá-la de outra forma.

   CLI do Azure

   az ml compute create -n batch-cluster --type amlcompute --min-instances 0 --max-instances 5
   

   Python

   compute_name = "batch-cluster"
   if not any(filter(lambda m: m.name == compute_name, ml_client.compute.list())):
       compute_cluster = AmlCompute(
           name=compute_name,
           description="Batch endpoints compute cluster",
           min_instances=0,
           max_instances=5,
       )
       ml_client.begin_create_or_update(compute_cluster).result()

2. Configure a implantação:

   CLI do Azure

   O deployment.yml arquivo contém a configuração da implantação. Você pode verificar o esquema YAML do ponto de extremidade de lote completo para obter propriedades extras.

   deployment.yml

   $schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
   name: hello-batch-dpl
   endpoint_name: hello-pipeline-batch
   type: pipeline
   component: azureml:hello_batch@latest
   settings:
       default_compute: batch-cluster
   

   Python

   deployment = PipelineComponentBatchDeployment(
       name="hello-batch-dpl",
       description="A hello world deployment with a single step.",
       endpoint_name=endpoint.name,
       component=hello_batch,
       settings={"continue_on_step_failure": False, "default_compute": compute_name},
   )

3. Crie a implantação:

   CLI do Azure

   Execute o código a seguir para criar uma implantação em lote no ponto de extremidade em lote e defini-la como a implantação padrão.

   az ml batch-deployment create --endpoint $ENDPOINT_NAME -f deployment.yml --set-default
   

   Gorjeta

   Observe o --set-default uso do sinalizador para indicar que essa nova implantação agora é o padrão.

   Python

   Esse comando iniciará a criação da implantação e retornará uma resposta de confirmação enquanto a criação da implantação continuar.

   ml_client.batch_deployments.begin_create_or_update(deployment).result()

   Uma vez criada, vamos configurar essa nova implantação como padrão:

   endpoint = ml_client.batch_endpoints.get(endpoint_name)
   endpoint.defaults.deployment_name = deployment.name
   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

4. Sua implantação está pronta para uso.

Testar a implementação

Depois que a implantação é criada, ela está pronta para receber trabalhos. Você pode invocar a implantação padrão da seguinte maneira:

CLI do Azure

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
)

Gorjeta

Neste exemplo, o pipeline não tem entradas ou saídas. No entanto, se o componente de pipeline exigir alguns, eles podem ser indicados no momento da invocação. Para saber mais sobre como indicar entradas e saídas, consulte Criar trabalhos e dados de entrada para pontos de extremidade em lote ou consulte o tutorial Como implantar um pipeline para executar pontuação em lote com pré-processamento (visualização).

Você pode monitorar o progresso do show e transmitir os logs usando:

CLI do Azure

az ml job stream -n $JOB_NAME

Python

ml_client.jobs.get(job.name)

Para aguardar a conclusão do trabalho, execute o seguinte código:

ml_client.jobs.stream(name=job.name)

Clean up resources (Limpar recursos)

Quando terminar, exclua os recursos associados do espaço de trabalho:

CLI do Azure

Execute o código a seguir para excluir o ponto de extremidade em lote e sua implantação subjacente. --yes é utilizado para confirmar a eliminação.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Python

Exclua o ponto de extremidade:

ml_client.batch_endpoints.begin_delete(endpoint_name).result()

(Opcional) Exclua a computação, a menos que planeje reutilizar seu cluster de computação com implantações posteriores.

CLI do Azure

az ml compute delete -n batch-cluster

Python

ml_client.compute.begin_delete(name="batch-cluster")

Próximos passos

• Como implantar um pipeline de treinamento com pontos de extremidade em lote)
• Como implantar um pipeline para executar a pontuação em lote com pré-processamento
• Criar pontos de extremidade em lote a partir de trabalhos de pipeline
• Criar trabalhos e dados de entrada para pontos de extremidade em lote
• Resolver problemas com pontos finais em lote