Menggunakan Tindakan GitHub dengan Azure Machine Learning

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Mulai menggunakan Tindakan GitHub untuk melatih model di Azure Machine Learning.

Artikel ini akan mengajari Anda cara membuat alur kerja Tindakan GitHub yang membangun dan menyebarkan model pembelajaran mesin ke Azure Machine Learning. Anda akan melatih model regresi linier scikit-learn pada himpunan data Taksi NYC.

Tindakan GitHub menggunakan file YAML (.yml) alur kerja pada jalur /.github/workflows/ di repositori Anda. Definisi ini berisi berbagai langkah dan parameter yang membentuk alur kerja.

Prasyarat

Sebelum mengikuti langkah-langkah dalam artikel ini, pastikan Anda memiliki prasyarat berikut:

• Ruang kerja Azure Machine Learning. Jika Anda tidak memilikinya, gunakan langkah-langkah dalam artikel Mulai Cepat: Membuat sumber daya ruang kerja untuk membuatnya.

• Untuk memasang SDK Python v2, gunakan perintah berikut:

  pip install azure-ai-ml azure-identity
  

  Untuk memperbarui penginstalan SDK yang ada ke versi terbaru, gunakan perintah berikut:

  pip install --upgrade azure-ai-ml azure-identity
  

  Untuk informasi selengkapnya, lihat Menginstal Python SDK v2 untuk Azure Pembelajaran Mesin.

• Akun GitHub. Jika Anda belum memilikinya, daftar gratis.

Langkah 1: Dapatkan kode

Fork repositori berikut pada GitHub:

https://github.com/azure/azureml-examples

Kloning repositori fork Anda secara lokal.

git clone https://github.com/YOUR-USERNAME/azureml-examples

Langkah 2: Mengautentikasi dengan Azure

Anda harus terlebih dahulu menentukan cara mengautentikasi dengan Azure. Anda dapat menggunakan perwakilan layanan atau OpenID Connect.

Membuat info masuk penyebaran

Prinsipal layanan

Buatlah perwakilan layanan dengan perintah az ad sp create-for-rbac di Azure CLI. Jalankan perintah ini dengan Azure Cloud Shell di portal Microsoft Azure atau dengan memilih tombol Coba.

az ad sp create-for-rbac --name "myML" --role contributor \
                            --scopes /subscriptions/<subscription-id>/resourceGroups/<group-name> \
                            --json-auth

Parameter --json-auth tersedia dalam versi >Azure CLI = 2.51.0. Versi sebelum penggunaan --sdk-auth ini dengan peringatan penghentian.

Pada contoh di atas, ganti tempat penampung dengan ID langganan, nama grup sumber daya, dan nama aplikasi Anda. Output adalah objek JSON dengan kredensial penetapan peran yang menyediakan akses ke App Service yang serupa di bawah ini. Salin objek JSON ini untuk nanti.

  {
    "clientId": "<GUID>",
    "clientSecret": "<GUID>",
    "subscriptionId": "<GUID>",
    "tenantId": "<GUID>",
    (...)
  }

OpenID Connect

OpenID Connect adalah metode autentikasi yang menggunakan token yang berumur pendek. Menyiapkan OpenID Connect dengan GitHub Actions merupakan proses lebih kompleks yang menawarkan keamanan yang sulit.

1. Jika Anda tidak memiliki aplikasi yang sudah ada, daftarkan aplikasi Microsoft Entra baru dan perwakilan layanan yang dapat mengakses sumber daya.

   az ad app create --display-name myApp
   

   Perintah ini akan menghasilkan JSON dengan appId JSON yang merupakan client-id Anda. objectId adalah APPLICATION-OBJECT-ID dan akan digunakan untuk membuat kredensial federasi dengan panggilan Graph API. Simpan nilai untuk digunakan sebagai AZURE_CLIENT_ID GitHub rahasia di kemudian hari.

2. Membuat perwakilan layanan. Ganti $appID dengan appId dari output JSON Anda. Perintah ini menghasilkan output JSON dengan objectId yang berbeda dan akan digunakan dalam langkah berikutnya. objectId yang baru adalah assignee-object-id.

   Perintah ini menghasilkan output JSON dengan objectId yang berbeda dan akan digunakan dalam langkah berikutnya. objectId yang baru adalah assignee-object-id.

   Salin appOwnerTenantId untuk digunakan sebagai GitHub rahasia untuk AZURE_TENANT_ID nanti.

    az ad sp create --id $appId
   

3. Membuat penetapan peran baru berdasarkan langganan dan objek. Secara default, penetapan peran akan terikat dengan langganan default Anda. Ganti $subscriptionId dengan ID langganan Anda, $resourceGroupName dengan nama grup sumber daya Anda, dan $assigneeObjectId dengan yang dihasilkan assignee-object-id (id objek perwakilan layanan yang baru dibuat).

   az role assignment create --role contributor --subscription $subscriptionId --assignee-object-id  $assigneeObjectId --assignee-principal-type ServicePrincipal --scope /subscriptions/$subscriptionId/resourceGroups/$resourceGroupName
   

4. Jalankan perintah berikut untuk membuat kredensial identitas federasi baru untuk aplikasi Microsoft Entra Anda.

   • Ganti APPLICATION-OBJECT-ID dengan objectId (dihasilkan saat membuat aplikasi) untuk aplikasi Microsoft Entra Anda.
   • Tetapkan nilai untuk CREDENTIAL-NAME untuk referensi nanti.
   • Set subject. Nilai ini ditentukan oleh GitHub tergantung pada alur kerja Anda:
     • Pekerjaan dalam lingkungan GitHub Actions Anda: repo:< Organization/Repository >:environment:< Name >
     • Untuk Pekerjaan yang tidak terikat dengan lingkungan, sertakan jalur referensi untuk cabang/tag berdasarkan jalur referensi yang digunakan untuk memicu alur kerja: repo:< Organization/Repository >:ref:< ref path>. Misalnya, repo:n-username/ node_express:ref:refs/heads/my-branch atau repo:n-username/ node_express:ref:refs/tags/my-tag.
     • Untuk alur kerja yang dipicu oleh peristiwa permintaan tarik: repo:< Organization/Repository >:pull_request.

   az ad app federated-credential create --id <APPLICATION-OBJECT-ID> --parameters credential.json
   ("credential.json" contains the following content)
   {
       "name": "<CREDENTIAL-NAME>",
       "issuer": "https://token.actions.githubusercontent.com",
       "subject": "repo:octo-org/octo-repo:environment:Production",
       "description": "Testing",
       "audiences": [
           "api://AzureADTokenExchange"
       ]
   }
   

Membuat rahasia

Prinsipal layanan

1. Di GitHub, buka repositori Anda.

2. Buka Pengaturan di menu navigasi.

3. Pilih Tindakan Rahasia keamanan > dan variabel>.

   

4. Pilih Rahasia repositori baru.

5. Tempelkan seluruh output JSON dari perintah CLI Azure ke bidang nilai rahasia. Namai rahasia sebagai AZURE_CREDENTIALS.

6. Pilih Tambahkan rahasia.

OpenID Connect

Anda perlu menyediakan ID Klien, ID Penyewa, dan ID Langganan aplikasi Anda untuk tindakan masuk. Nilai ini bisa disediakan secara langsung di alur kerja atau bisa disimpan di rahasia GitHub dan direferensikan dalam alur kerja Anda. Menyimpan nilai sebagai GitHub rahasia adalah opsi yang lebih aman.

1. Di GitHub, buka repositori Anda.

2. Pilih Tindakan Rahasia keamanan > dan variabel>.

   

3. Pilih Rahasia repositori baru.

4. Membuat rahasia untuk AZURE_CLIENT_ID, AZURE_TENANT_ID, dan AZURE_SUBSCRIPTION_ID. Gunakan nilai-nilai ini dari aplikasi Microsoft Entra Anda untuk rahasia GitHub Anda:

   Rahasia GitHub	Aplikasi Microsoft Entra
   AZURE_CLIENT_ID	Aplikasi (ID klien)
   AZURE_TENANT_ID	ID (tenant) direktori
   AZURE_SUBSCRIPTION_ID	ID Langganan

5. Simpan setiap rahasia dengan memilih Tambahkan rahasia.

Langkah 3: Perbarui setup.sh untuk menyambungkan ke ruang kerja Azure Pembelajaran Mesin Anda

Anda perlu memperbarui variabel file penyiapan CLI agar sesuai dengan ruang kerja Anda.

1. Di repositori fork Anda, buka azureml-examples/cli/.

2. Edit setup.sh dan perbarui variabel ini dalam file.

   Variabel	Deskripsi
   GROUP	Nama grup sumber daya
   LOKASI	Lokasi ruang kerja Anda (misalnya: eastus2)
   RUANG KERJA	Nama ruang kerja Azure Pembelajaran Mesin

Langkah 4: Perbarui pipeline.yml dengan nama kluster komputasi Anda

Anda akan menggunakan pipeline.yml file untuk menyebarkan alur Azure Pembelajaran Mesin Anda. Ini adalah alur pembelajaran mesin dan bukan alur DevOps. Anda hanya perlu membuat pembaruan ini jika Anda menggunakan nama selain cpu-cluster untuk nama kluster komputer Anda.

1. Di repositori fork Anda, buka azureml-examples/cli/jobs/pipelines/nyc-taxi/pipeline.yml.
2. Setiap kali Anda melihat compute: azureml:cpu-cluster, perbarui nilai cpu-cluster dengan nama kluster komputasi Anda. Misalnya, jika kluster Anda bernama my-cluster, nilai baru Anda akan menjadi azureml:my-cluster. Terdapat lima pembaruan.

Langkah 5: Jalankan alur kerja Tindakan GitHub Anda

Alur kerja Anda mengautentikasi dengan Azure, menyiapkan Azure Machine Learning CLI, dan menggunakan CLI untuk melatih model di Azure Machine Learning.

Prinsipal layanan

File alur kerja Anda terdiri dari bagian pemicu dan pekerjaan:

• Pemicu memulai alur kerja di bagian on. Alur kerja berjalan secara default pada jadwal cron dan saat permintaan pull dibuat dari cabang dan jalur yang cocok. Pelajari selengkapnya tentang peristiwa yang memicu alur kerja.
• Di bagian pekerjaan alur kerja, Anda memeriksa kode dan masuk ke Azure dengan rahasia perwakilan layanan Anda.
• Bagian pekerjaan juga menyertakan tindakan penyiapan yang memasang dan menyiapkan CLI Pembelajaran Mesin (v2). Setelah CLI dipasang, tindakan jalankan pekerjaan menjalankan file pipeline.yml Azure Machine Learning Anda untuk melatih model dengan data taksi NYC.

Mengaktifkan alur kerja Anda

1. Di repositori fork Anda, buka .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml dan verifikasi bahwa alur kerja Anda terlihat seperti ini.

   name: cli-jobs-pipelines-nyc-taxi-pipeline
   on:
     workflow_dispatch:
     schedule:
       - cron: "0 0/4 * * *"
     pull_request:
       branches:
         - main
         - sdk-preview
       paths:
         - cli/jobs/pipelines/nyc-taxi/**
         - .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml
         - cli/run-pipeline-jobs.sh
         - cli/setup.sh
   jobs:
     build:
       runs-on: ubuntu-latest
       steps:
       - name: check out repo
         uses: actions/checkout@v2
       - name: azure login
         uses: azure/login@v1
         with:
           creds: ${{secrets.AZURE_CREDENTIALS}}
       - name: setup
         run: bash setup.sh
         working-directory: cli
         continue-on-error: true
       - name: run job
         run: bash -x ../../../run-job.sh pipeline.yml
         working-directory: cli/jobs/pipelines/nyc-taxi
   

2. Pilih Tampilkan eksekusi.

3. Aktifkan alur kerja dengan memilih Saya memahami alur kerja saya, lanjutkan dan aktifkan.

4. Pilih alur kerja cli-jobs-pipelines-nyc-taxi-pipeline dan pilih Aktifkan alur kerja.

5. Pilih Jalankan alur kerja dan pilih opsi untuk Menjalankan alur kerja sekarang.

OpenID Connect

File alur kerja Anda terdiri dari bagian pemicu dan pekerjaan:

• Pemicu memulai alur kerja di bagian on. Alur kerja berjalan secara default pada jadwal cron dan saat permintaan pull dibuat dari cabang dan jalur yang cocok. Pelajari selengkapnya tentang peristiwa yang memicu alur kerja.
• Di bagian pekerjaan alur kerja, Anda memeriksa kode dan masuk ke Azure dengan tindakan masuk Azure menggunakan OpenID Connect.
• Bagian pekerjaan juga menyertakan tindakan penyiapan yang memasang dan menyiapkan CLI Pembelajaran Mesin (v2). Setelah CLI dipasang, tindakan jalankan pekerjaan menjalankan file pipeline.yml Azure Machine Learning Anda untuk melatih model dengan data taksi NYC.

Mengaktifkan alur kerja Anda

1. Di repositori fork Anda, buka .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml dan verifikasi bahwa alur kerja Anda terlihat seperti ini.

   name: cli-jobs-pipelines-nyc-taxi-pipeline
   on:
     workflow_dispatch:
     schedule:
       - cron: "0 0/4 * * *"
     pull_request:
       branches:
         - main
         - sdk-preview
       paths:
         - cli/jobs/pipelines/nyc-taxi/**
         - .github/workflows/cli-jobs-pipelines-nyc-taxi-pipeline.yml
         - cli/run-pipeline-jobs.sh
         - cli/setup.sh
   jobs:
     build:
       runs-on: ubuntu-latest
       steps:
       - name: check out repo
         uses: actions/checkout@v2
       - name: azure login
         uses: azure/login@v1
         with:
             client-id: ${{ secrets.AZURE_CLIENT_ID }}
             tenant-id: ${{ secrets.AZURE_TENANT_ID }}
             subscription-id: ${{ secrets.AZURE_SUBSCRIPTION_ID }}
       - name: setup
         run: bash setup.sh
         working-directory: cli
         continue-on-error: true
       - name: run job
         run: bash -x ../../../run-job.sh pipeline.yml
         working-directory: cli/jobs/pipelines/nyc-taxi
   

2. Pilih Tampilkan eksekusi.

3. Aktifkan alur kerja dengan memilih Saya memahami alur kerja saya, lanjutkan dan aktifkan.

4. Pilih alur kerja cli-jobs-pipelines-nyc-taxi-pipeline dan pilih Aktifkan alur kerja.

   

5. Pilih Jalankan alur kerja dan pilih opsi untuk Menjalankan alur kerja sekarang.

   

Langkah 6: Verifikasi eksekusi alur kerja Anda

1. Buka eksekusi alur kerja yang telah selesai dan verifikasi bahwa pekerjaan build berhasil dijalankan. Anda akan melihat tanda centang hijau di samping pekerjaan.

2. Buka studio Azure Machine Learning dan navigasikan ke nyc-taxi-pipeline-example. Verifikasi bahwa setiap bagian dari pekerjaan Anda (persiapan, transformasi, pelatihan, prediksi, skor) selesai dan Anda melihat tanda centang hijau.

   

Membersihkan sumber daya

Saat grup sumber daya Anda tidak lagi diperlukan, hapus sumber daya yang Anda sebarkan dengan menghapus grup sumber daya dan repositori GitHub Anda.

Langkah berikutnya

Membuat alur ML produksi dengan SDK Python