Menggunakan VM berprioritas rendah untuk penyebaran batch

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Penyebaran batch Azure mendukung komputer virtual (VM) prioritas rendah untuk mengurangi biaya beban kerja inferensi batch. VM berprioritas rendah memungkinkan sejumlah besar daya komputasi digunakan dengan biaya rendah. Komputer virtual berprioritas rendah memanfaatkan kapasitas surplus di Azure. Saat Anda menentukan VM berprioritas rendah di kumpulan Anda, Azure dapat menggunakan surplus ini, jika tersedia.

Petunjuk / Saran

Tradeoff untuk menggunakan VM berprioritas rendah adalah bahwa komputer virtual tersebut mungkin tidak tersedia atau mungkin didahului kapan saja, tergantung pada kapasitas yang tersedia. Untuk alasan ini, pendekatan ini paling cocok untuk beban kerja pemrosesan batch dan asinkron, di mana waktu penyelesaian pekerjaan fleksibel dan pekerjaan didistribusikan di banyak komputer virtual.

Komputer virtual berprioritas rendah ditawarkan dengan harga yang berkurang dibandingkan dengan komputer virtual khusus. Untuk detail harga, lihat Harga Azure Pembelajaran Mesin.

Cara kerja penyebaran batch dengan VM berprioritas rendah

Penyebaran Azure Pembelajaran Mesin Batch menyediakan beberapa kemampuan yang memudahkan penggunaan dan manfaat dari VM berprioritas rendah:

• Pekerjaan penyebaran batch menggunakan VM berprioritas rendah dengan berjalan di Azure Pembelajaran Mesin kluster komputasi yang dibuat dengan VM berprioritas rendah. Setelah penyebaran dikaitkan dengan kluster VM berprioritas rendah, semua pekerjaan yang dihasilkan oleh penyebaran tersebut menggunakan VM berprioritas rendah. Konfigurasi per pekerjaan tidak dimungkinkan.
• Pekerjaan penyebaran batch secara otomatis mencari jumlah target VM di kluster komputasi yang tersedia berdasarkan jumlah tugas yang akan dikirimkan. Jika VM didahului atau tidak tersedia, pekerjaan penyebaran batch mencoba mengganti kapasitas yang hilang dengan mengantrekan tugas yang gagal ke kluster.
• VM berprioritas rendah memiliki kuota vCPU terpisah yang berbeda dari VM khusus. Inti berprioritas rendah per wilayah memiliki batas default 100 hingga 3.000, tergantung pada langganan Anda. Jumlah inti berprioritas rendah per langganan dapat ditingkatkan dan merupakan nilai tunggal di seluruh keluarga VM. Lihat Kuota komputasi Azure Pembelajaran Mesin.

Pertimbangan dan kasus penggunaan

Banyak beban kerja batch cocok untuk VM berprioritas rendah. Menggunakan VM berprioritas rendah dapat memperkenalkan penundaan eksekusi saat pembatalan alokasi VM terjadi. Jika Anda memiliki fleksibilitas dalam pekerjaan waktu yang harus diselesaikan, Anda mungkin mentolerir potensi penurunan kapasitas.

Saat Anda menyebarkan model di bawah titik akhir batch, penjadwalan ulang dapat dilakukan di tingkat minibatch. Pendekatan itu memiliki manfaat bahwa dealokasi hanya berdampak pada minibatche yang saat ini sedang diproses dan tidak selesai pada node yang terpengaruh. Semua kemajuan yang selesai disimpan.

Batasan

• Setelah penyebaran dikaitkan dengan kluster VM berprioritas rendah, semua pekerjaan yang dihasilkan oleh penyebaran tersebut menggunakan VM berprioritas rendah. Konfigurasi per pekerjaan tidak dimungkinkan.
• Penjadwalan ulang dilakukan pada tingkat batch mini, terlepas dari kemajuannya. Tidak ada kemampuan titik pemeriksaan yang disediakan.

Peringatan

Dalam kasus di mana seluruh kluster didahului atau berjalan pada kluster simpul tunggal, pekerjaan dibatalkan karena tidak ada kapasitas yang tersedia untuk dijalankan. Pengiriman ulang diperlukan dalam kasus ini.

Membuat penyebaran batch yang menggunakan VM berprioritas rendah

Pekerjaan penyebaran batch menggunakan VM berprioritas rendah dengan berjalan di Azure Pembelajaran Mesin kluster komputasi yang dibuat dengan VM berprioritas rendah.

Catatan

Setelah penyebaran dikaitkan dengan kluster VM berprioritas rendah, semua pekerjaan yang dihasilkan oleh penyebaran tersebut menggunakan VM berprioritas rendah. Konfigurasi per pekerjaan tidak dimungkinkan.

Anda dapat membuat azure Pembelajaran Mesin kluster komputasi berprioritas rendah sebagai berikut:

Azure CLI

Buat definisi YAML komputasi seperti berikut ini, low-pri-cluster.yml:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-cluster
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

Buat komputasi menggunakan perintah berikut:

az ml compute create -f low-pri-cluster.yml

Python

Untuk membuat kluster komputasi baru dengan VM berprioritas rendah tempat membuat penyebaran, gunakan skrip berikut:

from azure.ai.ml.entities import AmlCompute

compute_name = "low-pri-cluster"
compute_cluster = AmlCompute(
   name=compute_name, 
   description="Low priority compute cluster", 
   min_instances=0, 
   max_instances=2,
   tier='LowPriority'
)

ml_client.begin_create_or_update(compute_cluster)

Setelah membuat komputasi baru, Anda dapat membuat atau memperbarui penyebaran untuk menggunakan kluster baru:

Azure CLI

Untuk membuat atau memperbarui penyebaran di bawah kluster komputasi baru, buat YAML file konfigurasi, endpoint.yml:

$schema: https://azuremlschemas.azureedge.net/latest/batchDeployment.schema.json
endpoint_name: heart-classifier-batch
name: classifier-xgboost
description: A heart condition classifier based on XGBoost
type: model
model: azureml:heart-classifier@latest
compute: azureml:low-pri-cluster
resources:
  instance_count: 2
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 2
  output_action: append_row
  output_file_name: predictions.csv
  retry_settings:
    max_retries: 3
    timeout: 300

Kemudian, buat penyebaran dengan perintah berikut:

az ml batch-endpoint create -f endpoint.yml

Python

Untuk membuat atau memperbarui penyebaran di bawah kluster komputasi baru, gunakan skrip berikut:

deployment = ModelBatchDeployment(
    name="classifier-xgboost",
    description="A heart condition classifier based on XGBoost",
    endpoint_name=endpoint.name,
    model=model,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
      instance_count=2,
      max_concurrency_per_instance=2,
      mini_batch_size=2,
      output_action=BatchDeploymentOutputAction.APPEND_ROW,
      output_file_name="predictions.csv",
      retry_settings=BatchRetrySettings(max_retries=3, timeout=300),
   )
)

ml_client.batch_deployments.begin_create_or_update(deployment)

Melihat dan memantau alokasi simpul

Metrik baru tersedia di portal Azure untuk VM berprioritas rendah untuk memantau VM berprioritas rendah. Metrik ini adalah:

• Simpul yang didahulukan
• Inti yang didahului

Untuk melihat metrik ini di portal Azure:

1. Navigasi ke ruang kerja Azure Pembelajaran Mesin Anda di portal Azure.
2. Pilih Metrik dari bagian Pemantauan.
3. Pilih metrik yang Anda inginkan dari daftar Metrik.

Konten terkait

• Membuat kluster komputasi Azure Pembelajaran Mesin
• Menyebarkan model MLflow dalam penyebaran batch
• Mengelola sumber daya komputasi untuk pelatihan model