Titik akhir online skala otomatis di Azure Pembelajaran Mesin

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Dalam artikel ini, Anda belajar mengelola penggunaan sumber daya dalam penyebaran dengan mengonfigurasi penskalaan otomatis berdasarkan metrik dan jadwal. Proses skala otomatis memungkinkan Anda secara otomatis menjalankan jumlah sumber daya yang tepat untuk menangani beban pada aplikasi Anda. Titik akhir online di Azure Pembelajaran Mesin mendukung autoscaling melalui integrasi dengan fitur skala otomatis di Azure Monitor.

Skala otomatis Azure Monitor memungkinkan Anda mengatur aturan yang memicu satu atau beberapa tindakan skala otomatis saat kondisi aturan terpenuhi. Anda dapat mengonfigurasi penskalaan berbasis metrik (seperti pemanfaatan CPU lebih besar dari 70%), penskalaan berbasis jadwal (seperti aturan penskalaan untuk jam kerja puncak), atau kombinasi keduanya. Untuk informasi selengkapnya, lihat Gambaran umum skala otomatis di Microsoft Azure.

Saat ini Anda dapat mengelola penskalakan otomatis dengan menggunakan Azure CLI, REST API, Azure Resource Manager, Python SDK, atau portal Azure berbasis browser.

Prasyarat

• Titik akhir yang disebarkan. Untuk informasi selengkapnya, lihat Menyebarkan dan menilai model pembelajaran mesin dengan menggunakan titik akhir online.

• Untuk menggunakan skala otomatis, peran microsoft.insights/autoscalesettings/write harus ditetapkan ke identitas yang mengelola skala otomatis. Anda dapat menggunakan peran bawaan atau kustom apa pun yang memungkinkan tindakan ini. Untuk panduan umum tentang mengelola peran untuk Azure Pembelajaran Mesin, lihat Mengelola pengguna dan peran. Untuk informasi selengkapnya tentang pengaturan skala otomatis dari Azure Monitor, lihat Penskalaan otomatis Microsoft.Insights.

• Untuk menggunakan Python SDK untuk mengelola layanan Azure Monitor, instal azure-mgmt-monitor paket dengan perintah berikut:

  pip install azure-mgmt-monitor
  

Menentukan profil skala otomatis

Untuk mengaktifkan skala otomatis untuk titik akhir online, Anda terlebih dahulu menentukan profil skala otomatis. Profil menentukan kapasitas set skala default, minimum, dan maksimum. Contoh berikut menunjukkan cara mengatur jumlah instans komputer virtual (VM) untuk kapasitas skala default, minimum, dan maksimum.

Azure CLI

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

Jika belum mengatur default untuk Azure CLI, simpan pengaturan default Anda. Untuk menghindari melewati nilai untuk langganan, ruang kerja, dan grup sumber daya Anda beberapa kali, jalankan kode ini:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

1. Atur titik akhir dan nama penyebaran:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

2. Dapatkan ID Azure Resource Manager dari penyebaran dan titik akhir:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

3. Buat profil skala otomatis:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

Catatan

Untuk informasi selengkapnya, lihat referensi skala otomatis monitor az.

Python SDK

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

1. Impor modul yang diperlukan:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Menentukan variabel untuk ruang kerja, titik akhir, dan penyebaran:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Dapatkan klien Azure Pembelajaran Mesin dan Azure Monitor:

   credential = DefaultAzureCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. Mendapatkan titik akhir dan objek penyebaran:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Menentukan profil skala otomatis:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

Studio

1. Di studio Azure Pembelajaran Mesin, buka ruang kerja Anda, dan pilih Titik akhir dari menu sebelah kiri.

2. Dalam daftar titik akhir yang tersedia, pilih titik akhir untuk dikonfigurasi:

   

3. Pada tab Detail untuk titik akhir yang dipilih, pilih Konfigurasikan penskalaan otomatis:

   

4. Untuk opsi Pilih cara menskalakan sumber daya Anda, pilih Skala otomatis kustom untuk memulai konfigurasi.

5. Untuk opsi Kondisi skala default, konfigurasikan nilai berikut:

   • Mode skala: Pilih Skala berdasarkan metrik.
   • Batas instans>Minimum: Atur nilai ke 2.
   • Batas instans>Maksimum: Atur nilai ke 5.
   • Instans>membatasi Default: Atur nilai ke 2.

   

Biarkan panel konfigurasi terbuka. Di bagian berikutnya, Anda mengonfigurasi pengaturan Aturan .

Membuat aturan peluasan skala berdasarkan metrik penyebaran

Aturan peluasan skala umum adalah meningkatkan jumlah instans VM ketika beban CPU rata-rata tinggi. Contoh berikut menunjukkan cara mengalokasikan dua simpul lagi (hingga maksimum) jika beban rata-rata CPU lebih besar dari 70% selama 5 menit:

Azure CLI

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

Aturan adalah bagian my-scale-settings dari profil, di mana autoscale-name cocok dengan name bagian profil. Nilai argumen aturan condition menunjukkan aturan memicu ketika "Konsumsi CPU rata-rata di antara instans VM melebihi 70% selama 5 menit." Ketika kondisi terpenuhi, dua instans VM lagi dialokasikan.

Catatan

Untuk informasi selengkapnya, lihat referensi sintaks Azure CLI skala otomatis az monitor.

Python SDK

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

1. Membuat definisi aturan:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Aturan ini mengacu pada rata-rata 5 menit terakhir dari CPUUtilizationpercentage nilai dari argumen metric_name, , time_windowdan time_aggregation. Ketika nilai metrik lebih besar dari threshold 70, penyebaran mengalokasikan dua instans VM lagi.

2. Perbarui profil my-scale-settings untuk menyertakan aturan ini:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

Studio

Langkah-langkah berikut berlanjut dengan konfigurasi skala otomatis.

1. Untuk opsi Aturan, pilih tautan Tambahkan aturan. Halaman Aturan skala terbuka.

2. Pada halaman Aturan skala, konfigurasikan nilai berikut ini:

   • Nama metrik: Pilih Persentase Pemanfaatan CPU.
   • Operator: Atur ke Lebih Besar dari.
   • Ambang batas metrik: Atur nilai ke 70.
   • Durasi (menit): Atur nilai ke 5.
   • Statistik butir waktu: Pilih Rata-rata.
   • Operasi: Pilih Tingkatkan jumlah menurut.
   • Jumlah instans: Atur nilai ke 2.

3. Pilih Tambahkan untuk membuat aturan:

   

Biarkan panel konfigurasi terbuka. Di bagian berikutnya, Anda menyesuaikan pengaturan Aturan .

Membuat aturan penyempurnaan berdasarkan metrik penyebaran

Ketika beban CPU rata-rata ringan, aturan penyempurnaan skala dapat mengurangi jumlah instans VM. Contoh berikut menunjukkan cara merilis satu node hingga minimal dua, jika beban CPU kurang dari 30% selama 5 menit.

Azure CLI

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

Python SDK

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

1. Membuat definisi aturan:

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. Perbarui profil my-scale-settings untuk menyertakan aturan ini:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

Studio

Langkah-langkah berikut menyesuaikan konfigurasi Aturan untuk mendukung aturan skala.

1. Untuk opsi Aturan, pilih tautan Tambahkan aturan. Halaman Aturan skala terbuka.

2. Pada halaman Aturan skala, konfigurasikan nilai berikut ini:

   • Nama metrik: Pilih Persentase Pemanfaatan CPU.
   • Operator: Atur ke Kurang dari.
   • Ambang batas metrik: Atur nilai ke 30.
   • Durasi (menit): Atur nilai ke 5.
   • Statistik butir waktu: Pilih Rata-rata.
   • Operasi: Pilih Kurangi jumlah menurut.
   • Jumlah instans: Atur nilai ke 1.

3. Pilih Tambahkan untuk membuat aturan:

   

   Jika Anda mengonfigurasi aturan peluasan skala dan penyempurnaan skala, aturan Anda terlihat mirip dengan cuplikan layar berikut. Aturan menentukan bahwa jika beban CPU rata-rata melebihi 70% selama 5 menit, dua simpul lagi harus dialokasikan, hingga batas lima. Jika beban CPU kurang dari 30% selama 5 menit, satu node harus dilepaskan, hingga minimal dua.

   

Biarkan panel konfigurasi terbuka. Di bagian berikutnya, Anda menentukan pengaturan skala lainnya.

Membuat aturan skala berdasarkan metrik titik akhir

Di bagian sebelumnya, Anda membuat aturan untuk menskalakan masuk atau keluar berdasarkan metrik penyebaran. Anda juga dapat membuat aturan yang berlaku untuk titik akhir penyebaran. Di bagian ini, Anda mempelajari cara mengalokasikan simpul lain ketika latensi permintaan lebih besar dari rata-rata 70 milidetik selama 5 menit.

Azure CLI

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

Python SDK

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

1. Membuat definisi aturan:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Bidang metric_resource_uri aturan ini kini merujuk pada titik akhir dan bukan penyebaran.

2. Perbarui profil my-scale-settings untuk menyertakan aturan ini:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

Studio

Langkah-langkah berikut melanjutkan konfigurasi aturan pada halaman Skala otomatis kustom.

1. Di bagian bawah halaman, pilih tautan Tambahkan kondisi skala.

2. Pada halaman Kondisi skala, pilih Skalakan berdasarkan metrik, lalu pilih tautan Tambahkan aturan. Halaman Aturan skala terbuka.

3. Pada halaman Aturan skala, konfigurasikan nilai berikut ini:

   • Sumber metrik: Pilih Sumber daya lain.
   • Jenis sumber daya: Pilih Pembelajaran Mesin titik akhir online.
   • Sumber Daya: Pilih titik akhir Anda.
   • Nama metrik: Pilih Latensi permintaan.
   • Operator: Atur ke Lebih Besar dari.
   • Ambang batas metrik: Atur nilai ke 70.
   • Durasi (menit): Atur nilai ke 5.
   • Statistik butir waktu: Pilih Rata-rata.
   • Operasi: Pilih Tingkatkan jumlah menurut.
   • Jumlah instans: Atur nilai ke 1.

4. Pilih Tambahkan untuk membuat aturan:

   

Menemukan ID untuk metrik yang didukung

Jika Anda ingin menggunakan metrik lain dalam kode untuk menyiapkan aturan skala otomatis dengan menggunakan Azure CLI atau SDK, lihat tabel dalam Metrik yang tersedia.

Membuat aturan skala berdasarkan jadwal

Anda juga dapat membuat aturan yang hanya berlaku pada hari-hari tertentu atau pada waktu-waktu tertentu. Di bagian ini, Anda membuat aturan yang menetapkan jumlah simpul menjadi 2 pada akhir pekan.

Azure CLI

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

Python SDK

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

Studio

Langkah-langkah berikut mengonfigurasi aturan dengan opsi pada halaman Skala otomatis kustom di studio.

1. Di bagian bawah halaman, pilih tautan Tambahkan kondisi skala.

2. Pada halaman Kondisi skala , pilih Skalakan ke jumlah instans tertentu, lalu pilih tautan Tambahkan aturan . Halaman Aturan skala terbuka.

3. Pada halaman Aturan skala, konfigurasikan nilai berikut ini:

   • Jumlah instans: Atur nilai ke 2.
   • Jadwal: Pilih Ulangi hari tertentu.
   • Atur pola jadwal: Pilih Ulangi setiap dan Sabtu dan Minggu.

4. Pilih Tambahkan untuk membuat aturan:

   

Mengaktifkan atau menonaktifkan skala otomatis

Anda dapat mengaktifkan atau menonaktifkan profil skala otomatis tertentu.

Azure CLI

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

Python SDK

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

Studio

• Untuk menonaktifkan profil skala otomatis yang digunakan, pilih Skala manual, lalu pilih Simpan.

• Untuk mengaktifkan profil skala otomatis, pilih Skala otomatis kustom. Studio mencantumkan semua profil skala otomatis yang dikenali untuk ruang kerja. Pilih profil lalu pilih Simpan untuk diaktifkan.

Menghapus sumber daya

Jika Anda tidak akan menggunakan penyebaran, hapus sumber daya dengan langkah-langkah berikut.

Azure CLI

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python SDK

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

Studio

1. Di studio Azure Pembelajaran Mesin, buka ruang kerja Anda dan pilih Titik akhir dari menu sebelah kiri.

2. Dalam daftar titik akhir, pilih titik akhir yang akan dihapus (periksa lingkaran di samping nama model).

3. Pilih Hapus.

Atau, Anda dapat menghapus titik akhir online terkelola langsung di halaman detail titik akhir.

Konten terkait

• Memahami pengaturan skala otomatis
• Meninjau pola skala otomatis umum
• Menjelajahi praktik terbaik untuk skala otomatis