Menyebarkan pekerjaan alur yang ada ke titik akhir batch

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Titik akhir batch memungkinkan Anda menyebarkan komponen alur, menyediakan cara mudah untuk mengoprasikan alur di Azure Pembelajaran Mesin. Titik akhir batch menerima komponen alur untuk penyebaran. Namun, jika Anda sudah memiliki pekerjaan alur yang berhasil dijalankan, Azure Pembelajaran Mesin dapat menerima pekerjaan tersebut sebagai input ke titik akhir batch Anda dan membuat komponen alur secara otomatis untuk Anda. Dalam artikel ini, Anda akan mempelajari cara menggunakan pekerjaan alur yang ada sebagai input untuk penyebaran batch.

Anda akan belajar untuk:

• Jalankan dan buat pekerjaan alur yang ingin Anda sebarkan
• Membuat penyebaran batch dari pekerjaan yang ada
• Menguji penyebarannya

Tentang contoh ini

Dalam contoh ini, kita akan menyebarkan alur yang terdiri dari pekerjaan perintah sederhana yang mencetak "halo dunia!". Alih-alih mendaftarkan komponen alur sebelum penyebaran, kami menunjukkan pekerjaan alur yang ada untuk digunakan untuk penyebaran. Azure Pembelajaran Mesin kemudian akan membuat komponen alur secara otomatis dan menyebarkannya sebagai penyebaran komponen alur titik akhir batch.

Contoh dalam artikel ini didasarkan pada sampel kode yang terkandung dalam repositori azureml-examples . Untuk menjalankan perintah secara lokal tanpa harus menyalin/menempelkan YAML dan file lainnya, pertama-tama kloning repositori lalu ubah direktori ke folder:

Azure CLI

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

File untuk contoh ini ada di:

cd endpoints/batch/deploy-pipelines/hello-batch

Prasyarat

• Langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba versi gratis atau berbayar Azure Machine Learning.

• Ruang kerja Azure Machine Learning. Untuk membuat ruang kerja, lihat Mengelola ruang kerja Azure Pembelajaran Mesin.

• Pastikan Anda memiliki izin berikut di ruang kerja Pembelajaran Mesin:

  • Membuat atau mengelola titik akhir dan penyebaran batch: Gunakan peran Pemilik, Kontributor, atau Kustom yang memungkinkan Microsoft.MachineLearningServices/workspaces/batchEndpoints/*.
  • Membuat penyebaran Azure Resource Manager di grup sumber daya ruang kerja: Gunakan peran Pemilik, Kontributor, atau Kustom yang memungkinkan Microsoft.Resources/deployments/write dalam grup sumber daya tempat ruang kerja disebarkan.

• Instal perangkat lunak berikut untuk bekerja dengan Pembelajaran Mesin:

  Azure CLI

  Jalankan perintah berikut untuk menginstal Azure CLI dan ml ekstensi untuk Azure Pembelajaran Mesin:

  az extension add -n ml
  

  Penyebaran komponen alur untuk Titik Akhir Batch diperkenalkan dalam versi 2.7 ml ekstensi untuk Azure CLI. az extension update --name ml Gunakan perintah untuk mendapatkan versi terbaru.

  Python

  Jalankan perintah berikut untuk menginstal Azure Pembelajaran Mesin SDK untuk Python:

  pip install azure-ai-ml
  

  Kelas ModelBatchDeployment dan PipelineComponentBatchDeployment diperkenalkan dalam SDK versi 1.7.0. pip install -U azure-ai-ml Gunakan perintah untuk mendapatkan versi terbaru.

---

Menyambungkan ke ruang kerja Anda

Ruang kerja adalah sumber daya tingkat atas untuk Pembelajaran Mesin. Ini menyediakan tempat terpusat untuk bekerja dengan semua artefak yang Anda buat saat Anda menggunakan Pembelajaran Mesin. Di bagian ini, Anda menyambungkan ke ruang kerja tempat Anda melakukan tugas penyebaran.

Azure CLI

Dalam perintah berikut, masukkan nilai untuk ID langganan, ruang kerja, lokasi, dan grup sumber daya Anda:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python

1. Impor pustaka yang diperlukan:

   from azure.ai.ml import MLClient, Input, load_component
   from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
   from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
   from azure.ai.ml.dsl import pipeline
   from azure.identity import DefaultAzureCredential
   

2. Konfigurasikan detail ruang kerja dan dapatkan handel ke ruang kerja:

   Dalam perintah berikut, masukkan nilai untuk ID langganan, ruang kerja, dan grup sumber daya Anda:

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Jalankan pekerjaan alur yang ingin Anda sebarkan

Di bagian ini, kita mulai dengan menjalankan pekerjaan alur:

Azure CLI

File berikut pipeline-job.yml berisi konfigurasi untuk pekerjaan alur:

pipeline-job.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline

experiment_name: hello-pipeline-batch
display_name: hello-pipeline-batch-job
description: This job demonstrates how to run the a pipeline component in a pipeline job. You can use this example to test a component in an standalone job before deploying it in an endpoint.

compute: batch-cluster
component: hello-component/hello.yml

Python

Muat komponen alur dan buat instans:

hello_batch = load_component(source="hello-component/hello.yml")
pipeline_job = hello_batch()

Sekarang, konfigurasikan beberapa pengaturan eksekusi untuk menjalankan pengujian. Artikel ini mengasumsikan Anda memiliki kluster komputasi bernama batch-cluster. Anda dapat mengganti kluster dengan nama kluster Anda.

pipeline_job.settings.default_compute = "batch-cluster"
pipeline_job.settings.default_datastore = "workspaceblobstore"

Buat pekerjaan alur:

Azure CLI

JOB_NAME=$(az ml job create -f pipeline-job.yml --query name -o tsv)

Python

pipeline_job_run = ml_client.jobs.create_or_update(
    pipeline_job, experiment_name="hello-batch-pipeline"
)
pipeline_job_run

Membuat titik akhir batch

Sebelum kita menyebarkan pekerjaan alur, kita perlu menyebarkan titik akhir batch untuk menghosting penyebaran.

1. Berikan nama untuk titik akhir. Nama titik akhir batch harus unik di setiap wilayah karena namanya digunakan untuk membangun URI pemanggilan. Untuk memastikan keunikan, tambahkan karakter berikutnya ke nama yang ditentukan dalam kode berikut.

   Azure CLI

   ENDPOINT_NAME="hello-batch"
   

   Python

   endpoint_name="hello-batch"
   

2. Konfigurasikan titik akhir:

   Azure CLI

   File endpoint.yml berisi konfigurasi titik akhir.

   endpoint.yml

   $schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
   name: hello-batch
   description: A hello world endpoint for component deployments.
   auth_mode: aad_token
   

   Python

   endpoint = BatchEndpoint(
       name=endpoint_name,
       description="A hello world endpoint for component deployments",
   )
   

3. Buat titik akhir:

   Azure CLI

   az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml
   

   Python

   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
   

4. Kueri URI titik akhir:

   Azure CLI

   az ml batch-endpoint show --name $ENDPOINT_NAME
   

   Python

   endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
   print(endpoint)
   

Menyebarkan pekerjaan alur

Untuk menyebarkan komponen alur, kita harus membuat penyebaran batch dari pekerjaan yang ada.

1. Kita perlu memberi tahu Azure Pembelajaran Mesin nama pekerjaan yang ingin kita sebarkan. Dalam kasus kami, pekerjaan tersebut ditunjukkan dalam variabel berikut:

   Azure CLI

   echo $JOB_NAME
   

   Python

   print(job.name)
   

2. Konfigurasikan penyebaran.

   Azure CLI

   File deployment-from-job.yml berisi konfigurasi penyebaran. Perhatikan bagaimana kami menggunakan kunci job_definition alih-alih component menunjukkan bahwa penyebaran ini dibuat dari pekerjaan alur:

   deployment-from-job.yml

   $schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
   name: hello-batch-from-job
   endpoint_name: hello-pipeline-batch
   type: pipeline
   job_definition: azureml:job_name_placeholder
   settings:
       continue_on_step_failure: false
       default_compute: batch-cluster
   

   Python

   Perhatikan sekarang bagaimana kita menggunakan properti job_definition alih-alih component:

   deployment = PipelineComponentBatchDeployment(
       name="hello-batch-from-job",
       description="A hello world deployment with a single step. This deployment is created from a pipeline job.",
       endpoint_name=endpoint.name,
       job_definition=pipeline_job_run,
       settings={
           "default_compute": "batch-cluster",
           "continue_on_step_failure": False
       }
   )
   

   Tip

   Konfigurasi ini mengasumsikan Anda memiliki kluster komputasi bernama batch-cluster. Anda dapat mengganti nilai ini dengan nama kluster Anda.

3. Buat penyebaran:

   Azure CLI

   Jalankan kode berikut untuk membuat penyebaran batch di bawah titik akhir batch dan atur sebagai penyebaran default.

   az ml batch-deployment create --endpoint $ENDPOINT_NAME --set job_definition=azureml:$JOB_NAME -f deployment-from-job.yml
   

   Tip

   Perhatikan penggunaan --set job_definition=azureml:$JOB_NAME. Karena nama pekerjaan unik, perintah --set digunakan di sini untuk mengubah nama pekerjaan saat Anda menjalankannya di ruang kerja Anda.

   Python

   Perintah ini memulai pembuatan penyebaran dan mengembalikan respons konfirmasi saat pembuatan penyebaran berlanjut.

   ml_client.batch_deployments.begin_create_or_update(deployment).result()
   

   Setelah dibuat, mari kita konfigurasikan penyebaran baru ini sebagai yang default:

   endpoint = ml_client.batch_endpoints.get(endpoint.name)
   endpoint.defaults.deployment_name = deployment.name
   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
   

4. Penyebaran Anda siap digunakan.

Menguji penyebarannya

Setelah penyebaran dibuat, penyebaran siap untuk menerima pekerjaan. Anda dapat memanggil penyebaran default sebagai berikut:

Azure CLI

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name, 
)

Anda dapat memantau kemajuan acara dan mengalirkan log menggunakan:

Azure CLI

az ml job stream -n $JOB_NAME

Python

ml_client.jobs.get(name=job.name)

Untuk menunggu pekerjaan selesai, jalankan kode berikut:

ml_client.jobs.stream(name=job.name)

Membersihkan sumber daya

Setelah selesai, hapus sumber daya terkait dari ruang kerja:

Azure CLI

Jalankan kode berikut untuk menghapus titik akhir batch dan penyebaran yang mendasarinya. --yes digunakan untuk mengonfirmasi penghapusan.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Python

Hapus titik akhir:

ml_client.batch_endpoints.begin_delete(endpoint.name).result()

Langkah berikutnya

• Cara menyebarkan alur pelatihan dengan titik akhir batch
• Cara menyebarkan alur untuk melakukan penilaian batch dengan pra-pemrosesan
• Mengakses data dari pekerjaan titik akhir batch
• Memecahkan masalah titik akhir batch