Implantar trabalhos de pipeline existentes em pontos de extremidade em lote

APLICA-SE A:Extensão de ML da CLI do Azure v2 (atual)SDK do Python azure-ai-ml v2 (atual)

Os pontos de extremidade em lote permitem implantar componentes de pipeline, fornecendo uma maneira conveniente de operacionalizar pipelines no Azure Machine Learning. Os pontos de extremidade do lote aceitam componentes de pipeline para implantação. No entanto, se você já tiver um trabalho de pipeline executado com êxito, o Azure Machine Learning poderá aceitar esse trabalho como entrada para o ponto de extremidade em lote e criar o componente de pipeline automaticamente para você. Neste artigo, você aprenderá a usar seu trabalho de pipeline existente como entrada para implantação em lote.

Você aprenderá a:

• Executar e criar o trabalho de pipeline que você deseja implantar
• Criar uma implantação em lote do trabalho existente
• Teste a implantação

Sobre este exemplo

Nesse exemplo, vamos implantar um pipeline que consiste em um trabalho de comando simples que imprime "olá, mundo!". Em vez de registrar o componente de pipeline antes da implantação, indicamos um trabalho de pipeline existente a ser usado para implantação. O Azure Machine Learning criará o componente de pipeline automaticamente e o implantará como uma implantação de componente de pipeline de ponto de extremidade em lote.

O exemplo neste artigo é baseado em exemplos de códigos contidos no repositório azureml-examples . Para executar os comandos localmente sem precisar copiar/colar o YAML e outros arquivos, primeiro clone o repositório e altere os diretórios para a pasta:

CLI do Azure

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Os arquivos para esse exemplo estão em:

cd endpoints/batch/deploy-pipelines/hello-batch

Pré-requisitos

Antes de seguir as etapas neste artigo, verifique se você tem os seguintes pré-requisitos:

• Uma assinatura do Azure. Caso não tenha uma assinatura do Azure, crie uma conta gratuita antes de começar. Experimente a versão gratuita ou paga do Azure Machine Learning.

• Um workspace do Azure Machine Learning. Se você não tiver um, use as etapas do artigo Gerenciar espaços de trabalho do Azure Machine Learning para criar um.

• Certifique-se de ter as seguintes permissões no espaço de trabalho:

  • Criar ou gerenciar pontos de extremidade e implantações em lotes: use uma função de Proprietário, Colaborador ou Personalizada que permita Microsoft.MachineLearningServices/workspaces/batchEndpoints/*.

  • Criar implantações do ARM no grupo de recursos do espaço de trabalho: use uma função de Proprietário, Colaborador ou Personalizada que permita Microsoft.Resources/deployments/write no grupo de recursos em que o espaço de trabalho está implantado.

• Você precisa instalar o software a seguir para trabalhar com o Azure Machine Learning:

  CLI do Azure

  A CLI do Azure e a mlextensão do Azure Machine Learning.

  az extension add -n ml
  

  Observação

  Implantações de componente de pipeline para Pontos de Extremidade em Lote foram introduzidas na versão 2.7 da extensão ml para a CLI do Azure. Use az extension update --name ml para obter a última versão.

  Python

  O SDK do Azure Machine Learning para Python.

  pip install azure-ai-ml
  

  Observação

  As classes ModelBatchDeployment e PipelineComponentBatchDeployment foram introduzidas na versão 1.7.0 do SDK. Use pip install -U azure-ai-ml para obter a última versão.

Conectar-se ao workspace

O workspace é o recurso de nível superior para o Azure Machine Learning. Ele fornece um local centralizado para trabalhar com todos os artefatos que você cria ao usar o Azure Machine Learning. Nesta seção, nos conectaremos ao workspace no qual você executará tarefas de implantação.

CLI do Azure

Passe os valores para sua ID de assinatura, espaço de trabalho, localização e grupo de recursos no código a seguir:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python

1. Importe as bibliotecas necessárias:

   from azure.ai.ml import MLClient, Input, load_component
   from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
   from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
   from azure.ai.ml.dsl import pipeline
   from azure.identity import DefaultAzureCredential
   

2. Configure os detalhes do espaço de trabalho e gerencie o espaço de trabalho:

   Passe os valores para sua ID de assinatura, espaço de trabalho e grupo de recursos no seguinte código:

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Executar o trabalho de pipeline que você deseja implantar

Nesta seção, começamos executando um trabalho de pipeline:

CLI do Azure

O arquivo pipeline-job.yml a seguir contém a configuração do trabalho de pipeline:

pipeline-job.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline

experiment_name: hello-pipeline-batch
display_name: hello-pipeline-batch-job
description: This job demonstrates how to run the a pipeline component in a pipeline job. You can use this example to test a component in an standalone job before deploying it in an endpoint.

compute: batch-cluster
component: hello-component/hello.yml

Python

Carregue o componente de pipeline e instancie-o:

hello_batch = load_component(source="hello-component/hello.yml")
pipeline_job = hello_batch()

Agora, definiremos algumas configurações de execução para executar o teste. Este artigo pressupõe que você tenha um cluster de computação chamado batch-cluster. Você pode substituir o cluster pelo nome do seu próprio cluster.

pipeline_job.settings.default_compute = "batch-cluster"
pipeline_job.settings.default_datastore = "workspaceblobstore"

Como criar o trabalho pipeline:

CLI do Azure

JOB_NAME=$(az ml job create -f pipeline-job.yml --query name -o tsv)

Python

pipeline_job_run = ml_client.jobs.create_or_update(
    pipeline_job, experiment_name="hello-batch-pipeline"
)
pipeline_job_run

Criar um ponto de extremidade em lote

Antes de implantarmos o trabalho de pipeline, precisamos implantar um ponto de extremidade em lote para hospedar a implantação.

1. Forneça um nome para o ponto de extremidade. O nome de um ponto de extremidade em lote precisa ser exclusivo em cada região, pois o nome é usado para construir o URI de invocação. Para garantir a exclusividade, acrescente todos os caracteres à direita ao nome especificado no código a seguir.

   CLI do Azure

   ENDPOINT_NAME="hello-batch"
   

   Python

   endpoint_name="hello-batch"
   

2. Configurar o ponto de extremidade:

   CLI do Azure

   O arquivo endpoint.yml contém a configuração do ponto de extremidade.

   endpoint.yml

   $schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
   name: hello-batch
   description: A hello world endpoint for component deployments.
   auth_mode: aad_token
   

   Python

   endpoint = BatchEndpoint(
       name=endpoint_name,
       description="A hello world endpoint for component deployments",
   )
   

3. Criar o ponto de extremidade:

   CLI do Azure

   az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml
   

   Python

   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
   

4. Consulte o URI do ponto de extremidade:

   CLI do Azure

   az ml batch-endpoint show --name $ENDPOINT_NAME
   

   Python

   endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
   print(endpoint)
   

Como implantar o trabalho de pipeline

Para implantar o componente de pipeline, precisamos criar uma implantação em lote.

1. Precisamos informar ao Azure Machine Learning o nome do trabalho que queremos implantar. Em nosso caso, esse trabalho é indicado na seguinte variável:

   CLI do Azure

   echo $JOB_NAME
   

   Python

   print(job.name)
   

2. Configurar a implantação.

   CLI do Azure

   O arquivo deployment-from-job.yml contém a configuração da implantação. Observe como usamos a chave job_definition em vez de component para indicar que essa implantação foi criada a partir de um trabalho de pipeline:

   deployment-from-job.yml

   $schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
   name: hello-batch-from-job
   endpoint_name: hello-pipeline-batch
   type: pipeline
   job_definition: azureml:job_name_placeholder
   settings:
       continue_on_step_failure: false
       default_compute: batch-cluster
   

   Python

   Observe agora como usamos a propriedade job_definition em vez de component:

   deployment = PipelineComponentBatchDeployment(
       name="hello-batch-from-job",
       description="A hello world deployment with a single step. This deployment is created from a pipeline job.",
       endpoint_name=endpoint.name,
       job_definition=pipeline_job_run,
       settings={
           "default_compute": "batch-cluster",
           "continue_on_step_failure": False
       }
   )
   

   Dica

   Essa configuração pressupõe que você tenha um cluster de computação chamado batch-cluster. Você pode substituir esse valor pelo nome do cluster.

3. Criar a implantação:

   CLI do Azure

   Execute o código a seguir para criar uma implantação em lote sob o ponto de extremidade de lote e defina-la como a implantação padrão.

   az ml batch-deployment create --endpoint $ENDPOINT_NAME --set job_definition=azureml:$JOB_NAME -f deployment-from-job.yml
   

   Dica

   Observe o uso de --set job_definition=azureml:$JOB_NAME. Como os nomes de trabalho são exclusivos, o comando --set é usado aqui para alterar o nome do trabalho quando você o executa no espaço de trabalho.

   Python

   Esse comando iniciará a criação da implantação e retornará uma resposta de confirmação enquanto a criação da implantação continuar.

   ml_client.batch_deployments.begin_create_or_update(deployment).result()
   

   Depois de criada, vamos configurar essa nova implantação como a padrão:

   endpoint = ml_client.batch_endpoints.get(endpoint.name)
   endpoint.defaults.deployment_name = deployment.name
   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
   

4. Sua implantação está pronta para uso.

Teste a implantação

Depois que a implantação for criada, ela estará pronta para receber trabalhos. Você pode invocar a implantação padrão da seguinte maneira:

CLI do Azure

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name, 
)

Monitore o progresso da exibição e transmita os logs usando:

CLI do Azure

az ml job stream -n $JOB_NAME

Python

ml_client.jobs.get(name=job.name)

Para aguardar a conclusão do trabalho, execute o código a seguir:

ml_client.jobs.stream(name=job.name)

Limpar os recursos

Quando concluir, exclua os recursos associados do espaço de trabalho:

CLI do Azure

Execute o código a seguir para excluir o ponto de extremidade em lote e todas as implantações subjacentes. --yes é usado para confirmar a exclusão.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Python

Exclua o ponto de extremidade:

ml_client.batch_endpoints.begin_delete(endpoint.name).result()

Próximas etapas

• Como implantar um pipeline de treinamento com pontos de extremidade em lotes
• Como implantar um pipeline para executar a pontuação em lote com pré-processamento
• Acessar dados de trabalhos de pontos de extremidade em lote
• Solução de problemas de pontos de extremidade em lote