Compartilhar via

Usar o Azure Pipelines com o Azure Machine Learning

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019

Você pode usar um pipeline do Azure DevOps para automatizar o ciclo de vida de aprendizado de máquina. Algumas das operações que você pode automatizar são:

  • Preparação de dados (operações de extração, transformação e carregamento).
  • Treine modelos de machine learning com expansão e escala vertical sob demanda.
  • Implantação de modelos de machine learning como serviços Web públicos ou privados.
  • Monitorando modelos de machine learning implantados (como para análise de desempenho ou de descompasso de dados).

Este artigo descreve como criar um pipeline do Azure que cria um modelo de machine learning e o implanta no Azure Machine Learning.

Este tutorial usa o SDK v2 do Python do Azure Machine Learning e a extensão de ML v2 da CLI do Azure.

Pré-requisitos

Etapa 1: obter o código

Bifurque o seguinte repositório do GitHub:

https://github.com/azure/azureml-examples

Etapa 2: criar um projeto

Inicie sessão no Azure. Pesquise e selecione organizações do Azure DevOps. Selecione Exibir minhas organizações. Selecione a organização que você deseja usar.

Na organização selecionada, crie um projeto. Se você não tiver nenhum projeto em sua organização, verá uma tela Criar um projeto para começar. Caso contrário, selecione o botão Novo Projeto no canto superior direito do painel.

Etapa 3: Criar uma conexão de serviço

Você pode usar uma conexão de serviço existente.

Você precisa de uma conexão do Azure Resource Manager para autenticar com o portal do Azure.

  1. No Azure DevOps, selecione as configurações do Project e, em seguida, selecione Conexões de serviço.

  2. Selecione Criar conexão de serviço, selecione Azure Resource Manager e, em seguida, selecione Avançar.

  3. Use os padrões para tipo de identidade e credencial.

  4. Crie sua conexão de serviço. Configure o nível de escopo, a assinatura, o grupo de recursos e o nome da conexão de sua preferência.

    Captura de tela da conexão do serviço ARM.

Etapa 4: Criar um pipeline

  1. Vá para Pipelines e, em seguida, selecione Criar Pipeline.

  2. Selecione GitHub como o local do código-fonte.

  3. Você pode ser redirecionado para o GitHub para então entrar. Se estiver, insira suas credenciais do GitHub.

  4. Quando a lista de repositórios for exibida, selecione o repositório.

  5. Você poderá ser redirecionado ao GitHub para instalar o aplicativo do Azure Pipelines. Se estiver, selecione Aprovar & instalar.

  6. Selecione Pipeline inicial. Você atualizará o modelo de pipeline inicial.

Etapa 5: Criar um pipeline YAML para enviar o trabalho do Azure Machine Learning

Exclua o pipeline inicial e substitua-o pelo código YAML a seguir. Nesse pipeline, você vai:

  • Usar a tarefa de versão do Python para configurar o Python 3.8 e instalar os requisitos do SDK.
  • Usar a tarefa Bash para executar scripts bash para o SDK e a CLI do Azure Machine Learning.
  • Usar a tarefa da CLI do Azure para enviar um trabalho do Azure Machine Learning.

Selecione uma das guias a seguir, dependendo se você está usando uma conexão de serviço do Azure Resource Manager ou uma conexão de serviço genérica. No YAML do pipeline, substitua os valores das variáveis por valores que correspondem aos seus recursos.

name: submit-azure-machine-learning-job

trigger:
- none

variables:
  service-connection: 'machine-learning-connection' # replace with your service connection name
  resource-group: 'machinelearning-rg' # replace with your resource group name
  workspace: 'docs-ws' # replace with your workspace name

jobs:
- job: SubmitAzureMLJob
  displayName: Submit AzureML Job
  timeoutInMinutes: 300
  pool:
    vmImage: ubuntu-latest
  steps:
  - task: UsePythonVersion@0
    displayName: Use Python >=3.10
    inputs:
      versionSpec: '>=3.10'

  - bash: |
      set -ex

      az version
      az extension add -n ml
    displayName: 'Add AzureML Extension'

  - task: AzureCLI@2
    name: submit_azureml_job_task
    displayName: Submit AzureML Job Task
    inputs:
      azureSubscription: $(service-connection)
      workingDirectory: 'cli/jobs/pipelines-with-components/nyc_taxi_data_regression'
      scriptLocation: inlineScript
      scriptType: bash
      inlineScript: |
      
        # submit component job and get the run name
        job_name=$(az ml job create --file single-job-pipeline.yml -g $(resource-group) -w $(workspace) --query name --output tsv)

        # set output variable for next task
        echo "##vso[task.setvariable variable=JOB_NAME;isOutput=true;]$job_name"

Etapa 6: Aguardar a conclusão do trabalho do Azure Machine Learning

Na Etapa 5, você criou um pipeline para enviar um trabalho do Azure Machine Learning. Nessa etapa, você adiciona um outro trabalho que aguarda a conclusão do trabalho do Azure Machine Learning.

Se você estiver usando uma conexão de serviço do Resource Manager, poderá usar a extensão do Machine Learning. Você pode pesquisar essa extensão no Marketplace de extensões do Azure DevOps ou ir diretamente para a página de extensão. Instale a extensão do Machine Learning.

Importante

Não instale a extensão Machine Learning (clássico). É uma extensão mais antiga que não fornece a mesma funcionalidade.

Na janela de revisão do Pipeline, adicione um Trabalho de Servidor. Na parte de etapas do trabalho, selecione Mostrar assistente e pesquise por AzureML. Selecione a tarefa AzureML Job Wait e forneça as informações para o trabalho.

A tarefa tem quatro entradas: Service Connection, Azure Resource Group Name, AzureML Workspace Namee AzureML Job Name. Forneça essas entradas. O YAML resultante para essas etapas é semelhante ao exemplo a seguir:

Observação

  • O tarefa de espera do trabalho do Azure Machine Learning é executada em um trabalho de servidor, que não usa recursos caros do pool de agentes e não requer encargos adicionais. Os trabalhos de servidor (indicados por pool: server) são executados no mesmo computador que o seu pipeline. Para obter mais informações, confira Trabalhos de servidor.
  • Uma tarefa de espera de trabalho do Azure Machine Learning só pode esperar por um trabalho. É necessário configurar uma tarefa separada para cada trabalho pelo qual você deseja aguardar.
  • A tarefa de espera do trabalho do Azure Machine Learning pode aguardar no máximo dois dias. Esse limite é um limite rígido definido pelos pipelines do Azure DevOps.
- job: WaitForAzureMLJobCompletion
  displayName: Wait for AzureML Job Completion
  pool: server
  timeoutInMinutes: 0
  dependsOn: SubmitAzureMLJob
  variables: 
    # Save the name of the azureMl job submitted in the previous step to a variable. It will be used as an input to the AzureML Job Wait task.
    azureml_job_name_from_submit_job: $[ dependencies.SubmitAzureMLJob.outputs['submit_azureml_job_task.JOB_NAME'] ] 
  steps:
  - task: AzureMLJobWaitTask@1
    inputs:
      serviceConnection: $(service-connection)
      resourceGroupName: $(resource-group)
      azureMLWorkspaceName: $(workspace)
      azureMLJobName: $(azureml_job_name_from_submit_job)

Etapa 7: Enviar o pipeline e verificar a execução do pipeline

Selecione Salvar e executar. O pipeline aguardará a conclusão do trabalho do Azure Machine Learning e encerrará a tarefa em WaitForJobCompletion com o mesmo status do trabalho do Azure Machine Learning. Por exemplo:

Trabalho do Azure Machine Learning Succeeded == Tarefa do Azure DevOps no trabalho WaitForJobCompletionSucceeded

Trabalho do Azure Machine Learning Failed == Tarefa do Azure DevOps no trabalho WaitForJobCompletionFailed

Trabalho do Azure Machine Learning Cancelled == Tarefa do Azure DevOps no trabalho WaitForJobCompletionCancelled

Dica

Você pode ver o trabalho completo do Azure Machine Learning no Estúdio do Azure Machine Learning.

Limpar os recursos

Se você não quiser continuar a usar seu pipeline, exclua seu projeto do Azure DevOps. No portal do Azure, exclua seu grupo de recursos e a instância do Azure Machine Learning.

  • Last updated on