Sdílet prostřednictvím

Použití Azure Pipelines se službou Azure Machine Learning

  • Článek

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019

K automatizaci životního cyklu strojového učení můžete použít kanál Azure DevOps. Mezi operace, které můžete automatizovat, patří:

  • Příprava dat (extrakce, transformace, operace načítání)
  • Trénování modelů strojového učení se škálováním na vyžádání a vertikálním navýšením kapacity
  • Nasazení modelů strojového učení jako veřejných nebo privátních webových služeb
  • Monitorování nasazených modelů strojového učení (například pro analýzu výkonu nebo posunu dat)

Tento článek vás naučí, jak vytvořit kanál Azure, který sestaví a nasadí model strojového učení do služby Azure Machine Learning.

V tomto kurzu se používá sada Azure Machine Learning Python SDK v2 a rozšíření Azure CLI ML v2.

Požadavky

Krok 1: Získání kódu

Fork následující úložiště na GitHubu:

https://github.com/azure/azureml-examples

Krok 2: Přihlášení ke službě Azure Pipelines

Přihlaste se ke službě Azure Pipelines. Po přihlášení přejde váš prohlížeč na https://dev.azure.com/my-organization-name řídicí panel Azure DevOps a zobrazí ho.

Ve vybrané organizaci vytvořte projekt. Pokud ve vaší organizaci nemáte žádné projekty, zobrazí se obrazovka Vytvořit projekt, který vám umožní začít . V opačném případě vyberte tlačítko Nový projekt v pravém horním rohu řídicího panelu.

Krok 3: Vytvoření připojení služby

Můžete použít existující připojení služby.

K ověření pomocí webu Azure Portal potřebujete připojení Azure Resource Manageru.

  1. V Azure DevOps vyberte Nastavení projektu a otevřete stránku Připojení služby.

  2. Zvolte Vytvořit připojení služby a vyberte Azure Resource Manager.

  3. Vyberte výchozí metodu ověřování, instanční objekt (automatický).

  4. Vytvořte připojení ke službě. Nastavte upřednostňovanou úroveň oboru, předplatné, skupinu prostředků a název připojení.

    Snímek obrazovky s připojením služby ARM

Krok 4: Vytvoření kanálu

  1. Přejděte na Kanály a vyberte vytvořit kanál.

  2. Kroky průvodce proveďte tak, že nejprve vyberete GitHub jako umístění zdrojového kódu.

  3. Můžete být přesměrováni na GitHub kvůli přihlášení. Pokud ano, zadejte svoje přihlašovací údaje GitHubu.

  4. Až se zobrazí seznam úložišť, vyberte úložiště.

  5. K instalaci aplikace Azure Pipelines můžete být přesměrováni na GitHub. Pokud ano, vyberte Schválit a nainstalovat.

  6. Vyberte počáteční kanál. Aktualizujete úvodní šablonu kanálu.

Krok 5: Sestavení kanálu YAML pro odeslání úlohy Azure Machine Learning

Odstraňte počáteční kanál a nahraďte ho následujícím kódem YAML. V tomto kanálu:

  • Pomocí úlohy verze Pythonu nastavte Python 3.8 a nainstalujte požadavky sady SDK.
  • Pomocí úlohy Bash spusťte skripty Bash pro sadu Azure Machine Learning SDK a rozhraní příkazového řádku.
  • Pomocí úlohy Azure CLI odešlete úlohu Azure Machine Learning.

V závislosti na tom, jestli používáte připojení služby Azure Resource Manager nebo obecné připojení služby, vyberte následující karty. V kanálu YAML nahraďte hodnotu proměnných vašimi prostředky.

name: submit-azure-machine-learning-job

trigger:
- none

variables:
  service-connection: 'machine-learning-connection' # replace with your service connection name
  resource-group: 'machinelearning-rg' # replace with your resource group name
  workspace: 'docs-ws' # replace with your workspace name

jobs:
- job: SubmitAzureMLJob
  displayName: Submit AzureML Job
  timeoutInMinutes: 300
  pool:
    vmImage: ubuntu-latest
  steps:
  - task: UsePythonVersion@0
    displayName: Use Python >=3.8
    inputs:
      versionSpec: '>=3.8'

  - bash: |
      set -ex

      az version
      az extension add -n ml
    displayName: 'Add AzureML Extension'

  - task: AzureCLI@2
    name: submit_azureml_job_task
    displayName: Submit AzureML Job Task
    inputs:
      azureSubscription: $(service-connection)
      workingDirectory: 'cli/jobs/pipelines-with-components/nyc_taxi_data_regression'
      scriptLocation: inlineScript
      scriptType: bash
      inlineScript: |
      
        # submit component job and get the run name
        job_name=$(az ml job create --file single-job-pipeline.yml -g $(resource-group) -w $(workspace) --query name --output tsv)

        # Set output variable for next task
        echo "##vso[task.setvariable variable=JOB_NAME;isOutput=true;]$job_name"

Krok 6: Počkejte na dokončení úlohy Azure Machine Learning

V kroku 5 jste přidali úlohu pro odeslání úlohy Azure Machine Learning. V tomto kroku přidáte další úlohu, která čeká na dokončení úlohy Azure Machine Learning.

Pokud používáte připojení služby Azure Resource Manager, můžete použít rozšíření Machine Learning. Toto rozšíření můžete vyhledat na Marketplace rozšíření Azure DevOps nebo přejít přímo na rozšíření. Nainstalujte rozšíření Machine Learning.

Důležité

Neinstalujte rozšíření Machine Learning (classic) omylem. Jedná se o starší rozšíření, které neposkytuje stejné funkce.

V okně revize kanálu přidejte úlohu serveru. V části úlohy vyberte Zobrazit asistenta a vyhledejte AzureML. Vyberte úlohu Čekání úlohy AzureML a vyplňte informace pro úlohu.

Úkol má čtyři vstupy: Service Connection, Azure Resource Group NameAzureML Workspace Name a AzureML Job Name. Vyplňte tyto vstupy. Výsledný YAML pro tyto kroky je podobný následujícímu příkladu:

Poznámka:

  • Úloha čekání na úlohu Azure Machine Learning běží na úloze serveru, která nevyužívá nákladné prostředky fondu agentů a nevyžaduje žádné další poplatky. Úlohy serveru (označené pool: server) běží na stejném počítači jako váš kanál. Další informace naleznete v tématu Úlohy serveru.
  • Jedna úloha čekání na úlohu Azure Machine Learning může čekat jenom na jednu úlohu. Pro každou úlohu, na kterou chcete čekat, musíte nastavit samostatný úkol.
  • Úloha čekání úlohy Azure Machine Learning může čekat maximálně 2 dny. Toto je pevný limit nastavený službou Azure DevOps Pipelines.
- job: WaitForAzureMLJobCompletion
  displayName: Wait for AzureML Job Completion
  pool: server
  timeoutInMinutes: 0
  dependsOn: SubmitAzureMLJob
  variables: 
    # We are saving the name of azureMl job submitted in previous step to a variable and it will be used as an inut to the AzureML Job Wait task
    azureml_job_name_from_submit_job: $[ dependencies.SubmitAzureMLJob.outputs['submit_azureml_job_task.JOB_NAME'] ] 
  steps:
  - task: AzureMLJobWaitTask@1
    inputs:
      serviceConnection: $(service-connection)
      resourceGroupName: $(resource-group)
      azureMLWorkspaceName: $(workspace)
      azureMLJobName: $(azureml_job_name_from_submit_job)

Krok 7: Odeslání kanálu a ověření spuštění kanálu

Zvolte Uložit a Spustit. Kanál počká na dokončení úlohy Azure Machine Learning a ukončí úlohu WaitForJobCompletion ve stejném stavu jako úloha Azure Machine Learning. Příklad: Úloha Succeeded Azure Machine Learning == Úloha Azure DevOps v úloze Succeeded WaitForJobCompletion Azure Machine Learning Failed == Úloha Azure DevOps v WaitForJobCompletion úloze Failed Azure Machine Learning Cancelled == Úloha Azure DevOps v úloze WaitForJobCompletionCancelled

Tip

Kompletní úlohu Azure Machine Learning můžete zobrazit v studio Azure Machine Learning.

Vyčištění prostředků

Pokud kanál dál nepoužíváte, odstraňte projekt Azure DevOps. Na webu Azure Portal odstraňte skupinu prostředků a instanci služby Azure Machine Learning.