GitHub Actions gebruiken met Azure Machine Learning

VAN TOEPASSING OP:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

Ga aan de slag met GitHub Actions om een model te trainen in Azure Machine Learning.

In dit artikel leert u hoe u een GitHub Actions-werkstroom maakt waarmee een machine learning-model wordt gebouwd en geïmplementeerd in Azure Machine Learning. U traint een scikit-learn lineair regressiemodel op de NYC Taxi-gegevensset.

GitHub Actions maakt gebruik van een YAML-werkstroombestand (.yml) in het /.github/workflows/ pad in uw opslagplaats. Deze definitie bevat de verschillende stappen en parameters die deel uitmaken van de werkstroom.

Vereisten

Voordat u de stappen in dit artikel volgt, moet u ervoor zorgen dat u over de volgende vereisten beschikt:

• Een Azure Machine Learning-werkruimte. Als u er nog geen hebt, gebruikt u de stappen in de quickstart: artikel Werkruimtebronnen maken om er een te maken.

• Gebruik de volgende opdracht om de Python SDK v2 te installeren:

  pip install azure-ai-ml azure-identity
  

  Gebruik de volgende opdracht om een bestaande installatie van de SDK bij te werken naar de nieuwste versie:

  pip install --upgrade azure-ai-ml azure-identity
  

  Zie De Python SDK v2 voor Azure Machine Learning installeren voor meer informatie.

• Een GitHub-account. Als u geen account hebt, kunt u zich registreren voor een gratis account.

Stap 1: De code ophalen

Fork de volgende opslagplaats op GitHub:

https://github.com/azure/azureml-examples

Kloon uw vervalste opslagplaats lokaal.

git clone https://github.com/YOUR-USERNAME/azureml-examples

Stap 2: Verifiëren met Azure

U moet eerst definiëren hoe u zich verifieert met Azure. U kunt een service-principal of OpenID Connect gebruiken.

Genereer implementatiereferenties

Service/principal

Maak een service-principal met de opdracht az ad sp create-for-rbac in de Azure CLI. Voer deze opdracht uit met Azure Cloud Shell in de Azure Portal of door de knop Uitproberen te selecteren.

az ad sp create-for-rbac --name "myML" --role contributor \
                            --scopes /subscriptions/<subscription-id>/resourceGroups/<group-name> \
                            --json-auth

De parameter --json-auth is beschikbaar in Azure CLI-versies >= 2.51.0. Versies vóór dit gebruik --sdk-auth met een afschaffingswaarschuwing.

Vervang in het bovenstaande voorbeeld de tijdelijke aanduidingen door uw abonnements-id, resourcegroepnaam en app-naam. De uitvoer is een JSON-object met de roltoewijzingsreferenties die toegang bieden tot uw App Service-app, vergelijkbaar met hieronder. Kopieer dit JSON-object voor later gebruik.

  {
    "clientId": "<GUID>",
    "clientSecret": "<GUID>",
    "subscriptionId": "<GUID>",
    "tenantId": "<GUID>",
    (...)
  }

OpenID Connect

OpenID Connect is een verificatiemethode die gebruikmaakt van kortstondige tokens. Het instellen van OpenID Connect met GitHub Actions is complexer en biedt beperkte beveiliging.

1. Als u geen bestaande toepassing hebt, registreert u een nieuwe Microsoft Entra-toepassing en service-principal die toegang heeft tot resources.

   az ad app create --display-name myApp
   

   Met deze opdracht wordt JSON uitgevoerd met een appId JSON die uw client-id. Dit objectId wordt APPLICATION-OBJECT-ID gebruikt voor het maken van federatieve referenties met Graph API-aanroepen. Sla de waarde op die u later wilt gebruiken als het AZURE_CLIENT_ID GitHub-geheim.

2. Een service-principal maken. Vervang de door de $appID appId uit uw JSON-uitvoer. Met deze opdracht wordt JSON-uitvoer gegenereerd met een andere objectId uitvoer die in de volgende stap wordt gebruikt. Het nieuwe objectId is de assignee-object-id.

   Met deze opdracht wordt JSON-uitvoer gegenereerd met een andere objectId en wordt in de volgende stap gebruikt. Het nieuwe objectId is de assignee-object-id.

   Kopieer het appOwnerTenantId te gebruiken als gitHub-geheim voor AZURE_TENANT_ID later gebruik.

    az ad sp create --id $appId
   

3. Maak een nieuwe roltoewijzing per abonnement en object. De roltoewijzing wordt standaard gekoppeld aan uw standaardabonnement. Vervang $subscriptionId door uw abonnements-id, $resourceGroupName door de naam van de resourcegroep en $assigneeObjectId door gegenereerd assignee-object-id (de zojuist gemaakte object-id van de service-principal).

   az role assignment create --role contributor --subscription $subscriptionId --assignee-object-id  $assigneeObjectId --assignee-principal-type ServicePrincipal --scope /subscriptions/$subscriptionId/resourceGroups/$resourceGroupName
   

4. Voer de volgende opdracht uit om een nieuwe federatieve identiteitsreferentie te maken voor uw Microsoft Entra-toepassing.

   • Vervang door APPLICATION-OBJECT-ID de objectId (gegenereerd tijdens het maken van een app) voor uw Microsoft Entra-toepassing.
   • Stel een waarde in om CREDENTIAL-NAME later te verwijzen.
   • Stel de subject in. De waarde hiervan wordt gedefinieerd door GitHub, afhankelijk van uw werkstroom:
     • Taken in uw GitHub Actions-omgeving: repo:< Organization/Repository >:environment:< Name >
     • Voor taken die niet zijn gekoppeld aan een omgeving, moet u het referentiepad voor vertakkingen/tags opnemen op basis van het referentiepad dat wordt gebruikt voor het activeren van de werkstroom: repo:< Organization/Repository >:ref:< ref path>. Bijvoorbeeld repo:n-username/ node_express:ref:refs/heads/my-branch of repo:n-username/ node_express:ref:refs/tags/my-tag.
     • Voor werkstromen die door een pull-aanvraaggebeurtenis zijn geactiveerd: repo:< Organization/Repository >:pull_request.

   az ad app federated-credential create --id <APPLICATION-OBJECT-ID> --parameters credential.json
   ("credential.json" contains the following content)
   {
       "name": "<CREDENTIAL-NAME>",
       "issuer": "https://token.actions.githubusercontent.com",
       "subject": "repo:octo-org/octo-repo:environment:Production",
       "description": "Testing",
       "audiences": [
           "api://AzureADTokenExchange"
       ]
   }
   

Geheimen maken

Service/principal

1. Ga in GitHub naar uw opslagplaats.

2. Ga naar Instellingen in het navigatiemenu.

3. Selecteer Acties voor beveiligingsgeheimen > en variabelen>.

   

4. Selecteer Nieuw opslagplaatsgeheim.

5. Plak de volledige JSON-uitvoer van de Azure CLI-opdracht in het waardeveld van het geheim. Geef het geheim de naam AZURE_CREDENTIALS.

6. Selecteer Geheim toevoegen.

OpenID Connect

U moet de client-id, tenant-id en abonnements-id van uw toepassing opgeven voor de aanmeldingsactie. Deze waarden kunnen rechtstreeks in de werkstroom worden opgegeven of kunnen worden opgeslagen in GitHub-geheimen en waarnaar wordt verwezen in uw werkstroom. Het opslaan van de waarden als GitHub-geheimen is de veiligere optie.

1. Ga in GitHub naar uw opslagplaats.

2. Selecteer Acties voor beveiligingsgeheimen > en variabelen>.

   

3. Selecteer Nieuw opslagplaatsgeheim.

4. Geheimen maken voor AZURE_CLIENT_ID, AZURE_TENANT_IDen AZURE_SUBSCRIPTION_ID. Gebruik deze waarden uit uw Microsoft Entra-toepassing voor uw GitHub-geheimen:

   GitHub-geheim	Microsoft Entra-toepassing
   AZURE_CLIENT_ID	Client-id van toepassing
   AZURE_TENANT_ID	Id van directory (tenant)
   AZURE_SUBSCRIPTION_ID	Abonnements-id

5. Sla elk geheim op door Geheim toevoegen te selecteren.

Stap 3: Bijwerken setup.sh om verbinding te maken met uw Azure Machine Learning-werkruimte

U moet de CLI-installatiebestandsvariabelen bijwerken zodat deze overeenkomen met uw werkruimte.

1. Ga in uw geforkte opslagplaats naar azureml-examples/cli/.

2. Bewerk en werk setup.sh deze variabelen in het bestand bij.

   Variabele	Beschrijving
   GROEP	Naam van resourcegroep
   LOCATIE	Locatie van uw werkruimte (voorbeeld: eastus2)
   WERKRUIMTE	Naam van Azure Machine Learning-werkruimte

Stap 4: Bijwerken pipeline.yml met de naam van uw rekencluster

U gebruikt een pipeline.yml bestand om uw Azure Machine Learning-pijplijn te implementeren. Dit is een machine learning-pijplijn en niet een DevOps-pijplijn. U hoeft deze update alleen te maken als u een andere naam gebruikt dan cpu-cluster voor de naam van het computercluster.

1. Ga in uw geforkte opslagplaats naar azureml-examples/cli/jobs/pipelines/nyc-taxi/pipeline.yml.
2. Telkens wanneer u dit ziet compute: azureml:cpu-cluster, werkt u de waarde bij met de naam van cpu-cluster het rekencluster. Als uw cluster bijvoorbeeld de naam my-clusterheeft, is azureml:my-clusteruw nieuwe waarde. Er zijn vijf updates.

Stap 5: Uw GitHub Actions-werkstroom uitvoeren

Uw werkstroom wordt geverifieerd met Azure, stelt de Azure Machine Learning CLI in en gebruikt de CLI om een model te trainen in Azure Machine Learning.

Service/principal

Uw werkstroombestand bestaat uit een triggersectie en taken:

• Met een trigger wordt de werkstroom in de on sectie gestart. De werkstroom wordt standaard uitgevoerd volgens een cron-schema en wanneer een pull-aanvraag wordt gedaan vanuit overeenkomende vertakkingen en paden. Meer informatie over gebeurtenissen die werkstromen activeren.
• In de sectie Taken van de werkstroom checkt u code uit en meldt u zich aan bij Azure met uw service-principalgeheim.
• De sectie Taken bevat ook een installatieactie waarmee de Machine Learning CLI (v2) wordt geïnstalleerd en ingesteld. Zodra de CLI is geïnstalleerd, wordt uw Azure Machine Learning-bestand pipeline.yml uitgevoerd met de actie Voor het uitvoeren van taken om een model te trainen met nyc-taxigegevens.

Uw werkstroom inschakelen

1. Open .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml en controleer of uw werkstroom er als volgt uitziet in uw geforkte opslagplaats.

   name: cli-jobs-pipelines-nyc-taxi-pipeline
   on:
     workflow_dispatch:
     schedule:
       - cron: "0 0/4 * * *"
     pull_request:
       branches:
         - main
         - sdk-preview
       paths:
         - cli/jobs/pipelines/nyc-taxi/**
         - .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml
         - cli/run-pipeline-jobs.sh
         - cli/setup.sh
   jobs:
     build:
       runs-on: ubuntu-latest
       steps:
       - name: check out repo
         uses: actions/checkout@v2
       - name: azure login
         uses: azure/login@v1
         with:
           creds: ${{secrets.AZURE_CREDENTIALS}}
       - name: setup
         run: bash setup.sh
         working-directory: cli
         continue-on-error: true
       - name: run job
         run: bash -x ../../../run-job.sh pipeline.yml
         working-directory: cli/jobs/pipelines/nyc-taxi
   

2. Selecteer Weergaveuitvoeringen.

3. Schakel werkstromen in door mijn werkstromen te selecteren , ga verder en schakel ze in.

4. Selecteer de cli-jobs-pipelines-nyc-taxi-pipeline-workflow en kies ervoor om werkstroom in te schakelen.

5. Selecteer Werkstroom uitvoeren en kies nu de optie werkstroom uitvoeren.

OpenID Connect

Uw werkstroombestand bestaat uit een triggersectie en taken:

• Met een trigger wordt de werkstroom in de on sectie gestart. De werkstroom wordt standaard uitgevoerd volgens een cron-schema en wanneer een pull-aanvraag wordt gedaan vanuit overeenkomende vertakkingen en paden. Meer informatie over gebeurtenissen die werkstromen activeren.
• In de sectie Taken van de werkstroom checkt u code uit en meldt u zich aan bij Azure met behulp van OpenID Connect.
• De sectie Taken bevat ook een installatieactie waarmee de Machine Learning CLI (v2) wordt geïnstalleerd en ingesteld. Zodra de CLI is geïnstalleerd, wordt uw Azure Machine Learning-bestand pipeline.yml uitgevoerd met de actie Voor het uitvoeren van taken om een model te trainen met nyc-taxigegevens.

Uw werkstroom inschakelen

1. Open .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml en controleer of uw werkstroom er als volgt uitziet in uw geforkte opslagplaats.

   name: cli-jobs-pipelines-nyc-taxi-pipeline
   on:
     workflow_dispatch:
     schedule:
       - cron: "0 0/4 * * *"
     pull_request:
       branches:
         - main
         - sdk-preview
       paths:
         - cli/jobs/pipelines/nyc-taxi/**
         - .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml
         - cli/run-pipeline-jobs.sh
         - cli/setup.sh
   jobs:
     build:
       runs-on: ubuntu-latest
       steps:
       - name: check out repo
         uses: actions/checkout@v2
       - name: azure login
         uses: azure/login@v1
         with:
             client-id: ${{ secrets.AZURE_CLIENT_ID }}
             tenant-id: ${{ secrets.AZURE_TENANT_ID }}
             subscription-id: ${{ secrets.AZURE_SUBSCRIPTION_ID }}
       - name: setup
         run: bash setup.sh
         working-directory: cli
         continue-on-error: true
       - name: run job
         run: bash -x ../../../run-job.sh pipeline.yml
         working-directory: cli/jobs/pipelines/nyc-taxi
   

2. Selecteer Weergaveuitvoeringen.

3. Schakel werkstromen in door mijn werkstromen te selecteren , ga verder en schakel ze in.

4. Selecteer de cli-jobs-pipelines-nyc-taxi-pipeline-workflow en kies ervoor om werkstroom in te schakelen.

   

5. Selecteer Werkstroom uitvoeren en kies nu de optie werkstroom uitvoeren.

   

Stap 6: Controleer of uw werkstroom wordt uitgevoerd

1. Open de voltooide werkstroomuitvoering en controleer of de buildtaak is uitgevoerd. Er wordt een groen vinkje naast de taak weergegeven.

2. Open Azure Machine Learning-studio en navigeer naar het nyc-taxi-pipeline-example. Controleer of elk deel van uw taak (voorbereiding, transformatie, trainen, voorspellen, score) is voltooid en of u een groen vinkje ziet.

   

Resources opschonen

Wanneer uw resourcegroep en opslagplaats niet meer nodig zijn, schoont u de resources op die u hebt geïmplementeerd door de resourcegroep en uw GitHub-opslagplaats te verwijderen.

Volgende stappen

ML-pijplijnen voor productie maken met Python SDK