Mevcut işlem hattı işlerini toplu iş uç noktalarına dağıtma

Makale
04/07/2024

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)

Batch uç noktaları işlem hattı bileşenlerini dağıtmanıza olanak tanıyarak Azure Machine Learning'de işlem hatlarını kullanıma hazır hale getirmek için kullanışlı bir yol sağlar. Batch uç noktaları dağıtım için işlem hattı bileşenlerini kabul eder. Ancak, zaten başarıyla çalışan bir işlem hattı işiniz varsa, Azure Machine Learning bu işi toplu iş uç noktanıza giriş olarak kabul edebilir ve işlem hattı bileşenini sizin için otomatik olarak oluşturabilir. Bu makalede, toplu dağıtım için giriş olarak mevcut işlem hattı işinizi kullanmayı öğreneceksiniz.

Öğrenecekleriniz:

Dağıtmak istediğiniz işlem hattı işini çalıştırma ve oluşturma
Mevcut işten toplu dağıtım oluşturma
Dağıtımı test etme

Bu örnek hakkında

Bu örnekte, "hello world!" yazdıran basit bir komut işinden oluşan bir işlem hattı dağıtacağız. İşlem hattı bileşenini dağıtımdan önce kaydetmek yerine, dağıtım için kullanılacak mevcut bir işlem hattı işini belirtiriz. Azure Machine Learning daha sonra işlem hattı bileşenini otomatik olarak oluşturur ve toplu uç nokta işlem hattı bileşeni dağıtımı olarak dağıtır.

Bu makaledeki örnek, azureml-examples deposunda yer alan kod örneklerini temel alır. YAML ve diğer dosyaları kopyalamak/yapıştırmak zorunda kalmadan komutları yerel olarak çalıştırmak için önce depoyu kopyalayın ve ardından dizinleri klasöre değiştirin:

Azure CLI
Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Bu örnekteki dosyalar şunlardır:

cd endpoints/batch/deploy-pipelines/hello-batch

Önkoşullar

Bu makaledeki adımları takip etmeden önce aşağıdaki önkoşullara sahip olduğunuzdan emin olun:

Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning'in ücretsiz veya ücretli sürümünü deneyin.
Azure Machine Learning çalışma alanı. Yoksa, azure machine learning çalışma alanlarını yönetme makalesindeki adımları kullanarak bir tane oluşturun.
Çalışma alanında aşağıdaki izinlere sahip olduğunuzdan emin olun:
- Toplu iş uç noktalarını ve dağıtımlarını oluşturma veya yönetme: İzin veren Microsoft.MachineLearningServices/workspaces/batchEndpoints/*bir Sahip, Katkıda Bulunan veya Özel rol kullanın.
- Çalışma alanı kaynak grubunda ARM dağıtımları oluşturma: Çalışma alanının dağıtıldığı kaynak grubunda izin veren Microsoft.Resources/deployments/write bir Sahip, Katkıda Bulunan veya Özel rol kullanın.
Azure Machine Learning ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:
- Azure CLI
- Python
Azure CLI ve ml Azure Machine Learning uzantısı.
```
az extension add -n ml
```
Not

Batch Uç Noktaları için işlem hattı bileşeni dağıtımları, Azure CLI uzantısının ml 2.7 sürümünde kullanıma sunulmuştur. Son sürümünü almak için kullanın az extension update --name ml .
Python için Azure Machine Learning SDK'sı.
```
pip install azure-ai-ml
```
Not

Sınıflar ModelBatchDeployment ve PipelineComponentBatchDeployment SDK'nın 1.7.0 sürümünde tanıtıldı. Son sürümünü almak için kullanın pip install -U azure-ai-ml .

Çalışma alanınıza bağlanma

Çalışma alanı Azure Machine Learning'in en üst düzey kaynağıdır. Azure Machine Learning'i kullanırken oluşturduğunuz tüm yapıtlarla çalışmak için merkezi bir konum sağlar. Bu bölümde, dağıtım görevlerini gerçekleştirdiğiniz çalışma alanına bağlanacağız.

Azure CLI
Python

Abonelik kimliğiniz, çalışma alanınız, konumunuz ve kaynak grubunuzun değerlerini aşağıdaki kodda geçirin:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Gerekli kitaplıkları içeri aktarın:

from azure.ai.ml import MLClient, Input, load_component
from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
from azure.ai.ml.dsl import pipeline
from azure.identity import DefaultAzureCredential

Çalışma alanı ayrıntılarını yapılandırın ve çalışma alanına bir tanıtıcı alın:

Abonelik kimliğiniz, çalışma alanınız ve kaynak grubunuzun değerlerini aşağıdaki kodda geçirin:
```
subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```

Dağıtmak istediğiniz işlem hattı işini çalıştırma

Bu bölümde, bir işlem hattı işi çalıştırarak başlayacağız:

Azure CLI
Python

Aşağıdaki pipeline-job.yml dosya işlem hattı işinin yapılandırmasını içerir:

pipeline-job.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline

experiment_name: hello-pipeline-batch
display_name: hello-pipeline-batch-job
description: This job demonstrates how to run the a pipeline component in a pipeline job. You can use this example to test a component in an standalone job before deploying it in an endpoint.

compute: batch-cluster
component: hello-component/hello.yml

İşlem hattı bileşenini yükleyin ve örneği oluşturun:

hello_batch = load_component(source="hello-component/hello.yml")
pipeline_job = hello_batch()

Şimdi testi çalıştırmak için bazı çalıştırma ayarlarını yapılandırın. Bu makalede adlı batch-clusterbir işlem kümeniz olduğu varsayılır. Kümeyi kendi adınızla değiştirebilirsiniz.

pipeline_job.settings.default_compute = "batch-cluster"
pipeline_job.settings.default_datastore = "workspaceblobstore"

İşlem hattı işini oluşturun:

Azure CLI
Python

JOB_NAME=$(az ml job create -f pipeline-job.yml --query name -o tsv)

pipeline_job_run = ml_client.jobs.create_or_update(
    pipeline_job, experiment_name="hello-batch-pipeline"
)
pipeline_job_run

Toplu iş uç noktası oluşturma

İşlem hattı işini dağıtmadan önce dağıtımı barındırmak için bir toplu iş uç noktası dağıtmamız gerekir.

Uç nokta için bir ad belirtin. Çağrı URI'sini oluşturmak için ad kullanıldığından, bir toplu iş uç noktasının adının her bölgede benzersiz olması gerekir. Benzersizliği sağlamak için, aşağıdaki kodda belirtilen ada sondaki karakterleri ekleyin.
- Azure CLI
- Python
```
ENDPOINT_NAME="hello-batch"
```
```
endpoint_name="hello-batch"
```

Uç noktayı yapılandırın:

Azure CLI
Python

Dosya uç endpoint.yml noktanın yapılandırmasını içerir.

endpoint.yml

$schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
name: hello-batch
description: A hello world endpoint for component deployments.
auth_mode: aad_token

endpoint = BatchEndpoint(
    name=endpoint_name,
    description="A hello world endpoint for component deployments",
)

Uç noktayı oluşturun:

Azure CLI
Python

az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml

ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

Uç nokta URI'sini sorgula:

Azure CLI
Python

az ml batch-endpoint show --name $ENDPOINT_NAME

endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
print(endpoint)

İşlem hattı işini dağıtma

İşlem hattı bileşenini dağıtmak için mevcut işten bir toplu dağıtım oluşturmamız gerekir.

Azure Machine Learning'e dağıtmak istediğimiz işin adını söylememiz gerekir. Bizim örneğimizde bu iş aşağıdaki değişkende belirtilmiştir:
- Azure CLI
- Python
```
echo $JOB_NAME
```
```
print(job.name)
```

Dağıtımı yapılandırın.

Azure CLI
Python

Dosya, deployment-from-job.yml dağıtımın yapılandırmasını içerir. Bu dağıtımın bir işlem hattı işinden oluşturulduğunu component belirtmek yerine anahtarını job_definition nasıl kullandığımıza dikkat edin:

deployment-from-job.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
name: hello-batch-from-job
endpoint_name: hello-pipeline-batch
type: pipeline
job_definition: azureml:job_name_placeholder
settings:
    continue_on_step_failure: false
    default_compute: batch-cluster

Artık yerine özelliğini job_definition nasıl kullandığımıza componentdikkat edin:

deployment = PipelineComponentBatchDeployment(
    name="hello-batch-from-job",
    description="A hello world deployment with a single step. This deployment is created from a pipeline job.",
    endpoint_name=endpoint.name,
    job_definition=pipeline_job_run,
    settings={
        "default_compute": "batch-cluster",
        "continue_on_step_failure": False
    }
)

İpucu

Bu yapılandırmada adlı batch-clusterbir işlem kümeniz olduğu varsayılır. Bu değeri kümenizin adıyla değiştirebilirsiniz.

Dağıtımı oluşturun:
- Azure CLI
- Python
Toplu iş uç noktası altında bir toplu dağıtım oluşturmak ve bunu varsayılan dağıtım olarak ayarlamak için aşağıdaki kodu çalıştırın.
```
az ml batch-deployment create --endpoint $ENDPOINT_NAME --set job_definition=azureml:$JOB_NAME -f deployment-from-job.yml
```
İpucu

kullanımına --set job_definition=azureml:$JOB_NAMEdikkat edin. İş adları benzersiz olduğundan, çalışma alanınızda çalıştırdığınızda işin adını değiştirmek için burada komutu --set kullanılır.
Bu komut dağıtım oluşturmayı başlatır ve dağıtım oluşturma işlemi devam ederken bir onay yanıtı döndürür.
```
ml_client.batch_deployments.begin_create_or_update(deployment).result()
```
Oluşturulduktan sonra bu yeni dağıtımı varsayılan dağıtım olarak yapılandıralım:
```
endpoint = ml_client.batch_endpoints.get(endpoint.name)
endpoint.defaults.deployment_name = deployment.name
ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
```
Dağıtımınız kullanıma hazır.

Dağıtımı test etme

Dağıtım oluşturulduktan sonra iş almaya hazır olur. Varsayılan dağıtımı aşağıdaki gibi çağırabilirsiniz:

Azure CLI
Python

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name, 
)

Gösterinin ilerleme durumunu izleyebilir ve günlüklerin akışını şu şekilde yapabilirsiniz:

Azure CLI
Python

az ml job stream -n $JOB_NAME

ml_client.jobs.get(name=job.name)

İşin tamamlanmasını beklemek için aşağıdaki kodu çalıştırın:

ml_client.jobs.stream(name=job.name)

Kaynakları temizleme

İşiniz bittiğinde, ilişkili kaynakları çalışma alanından silin:

Azure CLI
Python

Toplu iş uç noktasını ve temel dağıtımını silmek için aşağıdaki kodu çalıştırın. --yes silme işlemini onaylamak için kullanılır.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Uç noktayı silin:

ml_client.batch_endpoints.begin_delete(endpoint.name).result()

Aracılığıyla paylaş