Számítási fürt létrehozása és használata

  • 8 perc

A kísérletezés és fejlesztés után azt szeretné, hogy a kód éles üzemkész legyen. Amikor éles környezetben futtat kódot, érdemesebb szkripteket használni a jegyzetfüzetek helyett. Szkript futtatásakor skálázható számítási célt szeretne használni.

Az Azure Machine Tanulás a számítási fürtök ideálisak szkriptek futtatásához. Számítási fürtöt az Azure Machine Tanulás Studióban hozhat létre az Azure parancssori felületének (CLI) vagy a Python szoftverfejlesztői készletének (SDK) használatával.

Számítási fürt létrehozása a Python SDK-val

Ha számítási fürtöt szeretne létrehozni a Python SDK-val, használja a következő kódot:

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="cpu-cluster",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_basic).result()

Az osztály által várt paraméterek AmlCompute megismeréséhez tekintse át a referenciadokumentációt.

Számítási fürt létrehozásakor három fő paramétert kell figyelembe vennie:

  • size: Megadja a számítási fürt egyes csomópontjainak virtuálisgép-típusát . Az Azure-beli virtuális gépek méretétől függően. A méret mellett azt is megadhatja, hogy cpu-kat vagy GPU-kat szeretne-e használni.
  • max_instances: Megadja, hogy a számítási fürt hány csomópontra méretezhető fel. A számítási fürt által kezelhető párhuzamos számítási feladatok száma hasonló ahhoz, hogy a fürt hány csomópontra méretezhető.
  • tier: Megadja, hogy a virtuális gépek alacsony prioritásúak vagy dedikáltak-e. Az alacsony prioritású beállítás csökkentheti a költségeket, mivel nem garantált a rendelkezésre állás.

Számítási fürt használata

Három fő forgatókönyv létezik, amelyekben számítási fürtöt használhat:

  • A Tervező beépített folyamatfeladat futtatása.
  • Automatizált gép Tanulás feladat futtatása.
  • Szkript futtatása feladatként.

Mindegyik forgatókönyvben a számítási fürt ideális, mivel egy számítási fürt automatikusan felskálázódik egy feladat elküldésekor, és automatikusan leáll egy feladat befejezésekor.

A számítási fürtök lehetővé teszik több modell párhuzamos betanítása is, ami gyakori gyakorlat az automatizált gépek Tanulás használatakor.

Az Azure Machine Tanulás studióban futtathat egy Tervező folyamatfeladatot és egy automatizált gépi Tanulás feladatot. Amikor a feladatot a stúdión keresztül küldi el, beállíthatja a számítási célt a létrehozott számítási fürtre.

Ha a kódelső megközelítést részesíti előnyben, a számítási célt a Python SDK használatával állíthatja be a számítási fürtre.

Ha például parancsfeladatként futtat egy szkriptet, a számítási célt a következő kóddal állíthatja be a számítási fürtre:

from azure.ai.ml import command

# configure job
job = command(
    code="./src",
    command="python diabetes-training.py",
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu@latest",
    compute="cpu-cluster",
    display_name="train-with-cluster",
    experiment_name="diabetes-training"
    )

# submit job
returned_job = ml_client.create_or_update(job)
aml_url = returned_job.studio_url
print("Monitor your job at", aml_url)

A számítási fürtöt használó feladat elküldése után a számítási fürt egy vagy több csomópontra skálázható fel. Az átméretezés néhány percet vesz igénybe, és a feladat a szükséges csomópontok kiépítése után elindul. Amikor egy feladat állapota készül, a számítási fürt előkészítése folyamatban van. Amikor az állapot fut, a számítási fürt készen áll, és a feladat fut.