Alacsony prioritású virtuális gépek használata kötegelt üzembe helyezéshez

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Az Azure Batch üzembe helyezései támogatják az alacsony prioritású virtuális gépeket (VM-eket) a kötegelt következtetési számítási feladatok költségeinek csökkentése érdekében. Az alacsony prioritású virtuális gépek nagy számítási teljesítményt tesznek lehetővé alacsony költségek esetén. Az alacsony prioritású virtuális gépek kihasználják a többletkapacitást az Azure-ban. Ha alacsony prioritású virtuális gépeket ad meg a készletekben, az Azure felhasználhatja ezt a többletet, ha elérhető.

Tipp.

Az alacsony prioritású virtuális gépek használatának kompromisszuma az, hogy ezek a virtuális gépek nem érhetők el, vagy a rendelkezésre álló kapacitástól függően bármikor előre ki vannak adva. Ezért ez a módszer a leginkább alkalmas kötegelt és aszinkron feldolgozási számítási feladatokhoz, ahol a feladatok befejezési ideje rugalmas, és a munka számos virtuális gépen el van osztva.

Az alacsony prioritású virtuális gépeket a dedikált virtuális gépekhez képest alacsonyabb áron kínáljuk. A díjszabás részleteiért tekintse meg az Azure Machine Learning díjszabását.

A kötegelt üzembe helyezés működése alacsony prioritású virtuális gépekkel

Az Azure Machine Learning Batch üzembe helyezései számos olyan képességet biztosítanak, amelyek megkönnyítik az alacsony prioritású virtuális gépek használatát és előnyeit:

• A Batch üzembe helyezési feladatai alacsony prioritású virtuális gépeket használnak, ha alacsony prioritású virtuális gépekkel létrehozott Azure Machine Learning számítási fürtökön futnak. Miután egy üzembe helyezés alacsony prioritású virtuálisgép-fürthöz van társítva, az ilyen üzembe helyezés által létrehozott összes feladat alacsony prioritású virtuális gépeket használ. Feladatonkénti konfiguráció nem lehetséges.
• A Batch üzembe helyezési feladatai automatikusan megkeresik a rendelkezésre álló számítási fürtben lévő virtuális gépek célszámát a beküldendő tevékenységek száma alapján. Ha a virtuális gépek előre vannak telepítve vagy nem érhetők el, a kötegelt üzembehelyezési feladatok megpróbálják lecserélni az elveszett kapacitást úgy, hogy a sikertelen feladatokat a fürtre sorba rendezik.
• Az alacsony prioritású virtuális gépek külön vCPU-kvótával rendelkeznek, amely eltér a dedikált virtuális gépekhez tartozótól. Az alacsony prioritású magok régiónkénti alapértelmezett korlátja 100–3000, az előfizetésétől függően. Az előfizetésenkénti alacsony prioritású magok száma növelhető, és ugyanaz az érték vonatkozik minden virtuálisgép-családra. Tekintse meg az Azure Machine Learning számítási kvótáit.

Megfontolandó szempontok és használati esetek

Számos kötegelt számítási feladat jó választás alacsony prioritású virtuális gépekhez. Az alacsony prioritású virtuális gépek használata végrehajtási késéseket okozhat a virtuális gépek felszabadításakor. Ha rugalmasan tudja befejezni a feladatokat, eltűrheti a kapacitás esetleges visszaesését.

Amikor kötegelt végpontok alatt helyez üzembe modelleket, az átütemezés a minibatch szintjén végezhető el. Ennek a megközelítésnek az az előnye, hogy a felszabadítás csak azokat a minibatcheseket érinti, amelyek jelenleg feldolgozás alatt állnak, és nem fejeződnek be az érintett csomóponton. Az összes befejezett folyamat megmarad.

Korlátozások

• Miután egy üzembe helyezés alacsony prioritású virtuálisgép-fürthöz van társítva, az ilyen üzembe helyezés által létrehozott összes feladat alacsony prioritású virtuális gépeket használ. Feladatonkénti konfiguráció nem lehetséges.
• Az átütemezés a mini-köteg szintjén történik, az előrehaladástól függetlenül. Nincs megadva ellenőrzőpont-funkció.

Figyelmeztetés

Azokban az esetekben, amikor a teljes fürt elő van készítve vagy egy egycsomópontos fürtön fut, a feladat megszakad, mert nem áll rendelkezésre kapacitás a futtatásához. Ebben az esetben újraküldésre van szükség.

Alacsony prioritású virtuális gépeket használó kötegtelepítések létrehozása

A Batch üzembe helyezési feladatai alacsony prioritású virtuális gépeket használnak, ha alacsony prioritású virtuális gépekkel létrehozott Azure Machine Learning számítási fürtökön futnak.

Feljegyzés

Miután egy üzembe helyezés alacsony prioritású virtuálisgép-fürthöz van társítva, az ilyen üzembe helyezés által létrehozott összes feladat alacsony prioritású virtuális gépeket használ. Feladatonkénti konfiguráció nem lehetséges.

Az alábbiak szerint hozhat létre alacsony prioritású Azure Machine Learning számítási fürtöt:

Azure CLI

Hozzon létre egy számítási definíciót YAML az alábbihoz hasonlóan, low-pri-cluster.yml:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-cluster
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

Hozza létre a számítást a következő paranccsal:

az ml compute create -f low-pri-cluster.yml

Python

Ha olyan új számítási fürtöt szeretne létrehozni alacsony prioritású virtuális gépekkel, ahol létre szeretné hozni az üzembe helyezést, használja a következő szkriptet:

from azure.ai.ml.entities import AmlCompute

compute_name = "low-pri-cluster"
compute_cluster = AmlCompute(
   name=compute_name, 
   description="Low priority compute cluster", 
   min_instances=0, 
   max_instances=2,
   tier='LowPriority'
)

ml_client.begin_create_or_update(compute_cluster)

Az új számítás létrehozása után létrehozhatja vagy frissítheti az üzembe helyezést az új fürt használatára:

Azure CLI

Ha az új számítási fürtben szeretne üzembe helyezést létrehozni vagy frissíteni, hozzon létre egy YAML konfigurációs fájlt, endpoint.yml:

$schema: https://azuremlschemas.azureedge.net/latest/batchDeployment.schema.json
endpoint_name: heart-classifier-batch
name: classifier-xgboost
description: A heart condition classifier based on XGBoost
type: model
model: azureml:heart-classifier@latest
compute: azureml:low-pri-cluster
resources:
  instance_count: 2
settings:
  max_concurrency_per_instance: 2
  mini_batch_size: 2
  output_action: append_row
  output_file_name: predictions.csv
  retry_settings:
    max_retries: 3
    timeout: 300

Ezután hozza létre az üzembe helyezést a következő paranccsal:

az ml batch-endpoint create -f endpoint.yml

Python

Ha az új számítási fürtben szeretne üzembe helyezést létrehozni vagy frissíteni, használja a következő szkriptet:

deployment = ModelBatchDeployment(
    name="classifier-xgboost",
    description="A heart condition classifier based on XGBoost",
    endpoint_name=endpoint.name,
    model=model,
    compute=compute_name,
    settings=ModelBatchDeploymentSettings(
      instance_count=2,
      max_concurrency_per_instance=2,
      mini_batch_size=2,
      output_action=BatchDeploymentOutputAction.APPEND_ROW,
      output_file_name="predictions.csv",
      retry_settings=BatchRetrySettings(max_retries=3, timeout=300),
   )
)

ml_client.batch_deployments.begin_create_or_update(deployment)

Csomópont felszabadításának megtekintése és figyelése

Új metrikák érhetők el az Azure Portalon az alacsony prioritású virtuális gépek számára az alacsony prioritású virtuális gépek monitorozásához. Ezek a metrikák a következők:

• Előre átszerkesztett csomópontok
• Előre összeállított magok

A metrikák megtekintése az Azure Portalon:

1. Lépjen az Azure Machine Learning-munkaterületre az Azure Portalon.
2. Válassza a Metrika lehetőséget a Figyelés szakaszban.
3. Válassza ki a kívánt metrikákat a Metrikák listából.

Kapcsolódó tartalom

• Azure Machine Learning számítási fürt létrehozása
• MLflow-modellek üzembe helyezése kötegtelepítésekben
• Számítási erőforrások kezelése modellbetanításhoz