Azure Machine Tanulás számítási fürt létrehozása

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Ez a cikk azt ismerteti, hogyan hozhat létre és kezelhet számítási fürtöt az Azure Machine Tanulás-munkaterületen.

Az Azure Machine Tanulás számítási fürt használatával kioszthat egy betanítási vagy kötegelt következtetési folyamatot a felhőben található CPU- vagy GPU-számítási csomópontokból álló fürtök között. A GPU-kat tartalmazó virtuálisgép-méretekről további információt a GPU-ra optimalizált virtuálisgép-méretekben talál.

Az alábbiak végrehajtásának módját ismerheti meg:

• Hozzon létre egy számítási fürtöt.
• Csökkentse a számítási fürt költségeit alacsony prioritású virtuális gépek használatával.
• Állítson be egy felügyelt identitást a fürthöz.

Feljegyzés

Számítási fürt létrehozása helyett használjon kiszolgáló nélküli számítást a számítási életciklus-felügyelet Azure Machine-Tanulás való kiszervezéséhez.

Előfeltételek

• Egy Azure Machine Learning-munkaterület. További információ: Azure Machine Tanulás-munkaterületek kezelése.

• A Machine Tanulás service (v2), az Azure Machine Tanulás Python SDK vagy az Azure Machine Tanulás Visual Studio Code bővítmény.

• Ha a Python SDK-t használja, állítsa be a fejlesztési környezetet egy munkaterülettel. A környezet beállítása után csatolja a munkaterülethez a Python-szkriptben:

  A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

  Futtassa ezt a kódot az Azure ML-munkaterülethez való csatlakozáshoz.

  Cserélje le az előfizetés azonosítóját, az erőforráscsoport nevét és a munkaterület nevét az alábbi kódban. Az alábbi értékek megkeresése:

  1. Jelentkezzen be az Azure Machine Tanulás Studióba.
  2. Nyissa meg a használni kívánt munkaterületet.
  3. A jobb felső Azure Machine Tanulás studio eszköztáron válassza ki a munkaterület nevét.
  4. Másolja a munkaterület, az erőforráscsoport és az előfizetés azonosítójának értékét a kódba.
  5. Ha a studióban jegyzetfüzetet használ, ki kell másolnia egy értéket, be kell zárnia a területet, és be kell illesztenie, majd vissza kell térnie a következőhöz.

  # Enter details of your AML workspace
  subscription_id = "<SUBSCRIPTION_ID>"
  resource_group = "<RESOURCE_GROUP>"
  workspace = "<AML_WORKSPACE_NAME>"

  # get a handle to the workspace
  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient(
      DefaultAzureCredential(), subscription_id, resource_group, workspace
  )

  ml_client a munkaterület kezelője, amelyet más erőforrások és feladatok kezelésére fog használni.

Mi az a számítási fürt?

Az Azure Machine Tanulás számítási fürt egy felügyelt számítási infrastruktúra, amely lehetővé teszi egyetlen vagy többcsomópontos számítás egyszerű létrehozását. A számítási fürt olyan erőforrás, amely megosztható a munkaterület többi felhasználójával. A számítási kapacitás automatikusan felskálázódik egy feladat elküldésekor, és elhelyezhető egy Azure-beli virtuális hálózatban. A számítási fürt nem támogatja a nyilvános IP-telepítést , valamint a virtuális hálózaton. A számítás tárolóalapú környezetben fut, és a modell függőségeit egy Docker-tárolóba csomagolja.

A számítási fürtök biztonságosan futtathatnak feladatokat felügyelt virtuális hálózaton vagy Azure-beli virtuális hálózaton anélkül, hogy a vállalatoknak SSH-portokat kellene megnyitniuk. A feladat tárolóalapú környezetben fut, és a modell függőségeit egy Docker-tárolóba csomagolja.

Korlátozások

• A számítási fürtök a munkaterületen kívüli régióban hozhatók létre. Ez a funkció csak számítási fürtök esetén érhető el, számítási példányokhoz nem.

  Figyelmeztetés

  Ha egy számítási fürtöt a munkaterület vagy az adattáraktól eltérő régióban használ, a hálózati késés és az adatátvitel költségei növekedhetnek. A késés és a költségek a fürt létrehozásakor és a rajta futó feladatok esetén fordulhatnak elő.

• Az Azure Machine Tanulás Compute alapértelmezett korlátokkal rendelkezik, például a lefoglalható magok számával. További információ: Az Azure-erőforrások kvótáinak kezelése és kérése.

• Az Azure lehetővé teszi, hogy zárolja az erőforrásokat, így azok nem törölhetők vagy csak olvashatók. Ne alkalmazza az erőforrás-zárolásokat a munkaterületet tartalmazó erőforráscsoportra. A munkaterületet tartalmazó erőforráscsoport zárolásának alkalmazása megakadályozza az Azure Machine Tanulás számítási fürtök skálázási műveleteit. Az erőforrások zárolásával kapcsolatos további információkért lásd : Erőforrások zárolása a váratlan változások megelőzése érdekében.

Létrehozás

Időbecslés: Körülbelül öt perc.

Feljegyzés

Ha kiszolgáló nélküli számítást használ, nem kell számítási fürtöt létrehoznia.

Az Azure Machine Tanulás Compute a futtatások között újra felhasználható. A számítás megosztható a munkaterület többi felhasználójával, és a futtatások között megmarad, automatikusan fel- vagy leskálázva a csomópontokat az elküldött futtatások száma és a max_nodes fürt beállítása alapján. A min_nodes beállítás szabályozza az elérhető minimális csomópontokat.

A virtuális gépek családkvóta szerinti régiónkénti dedikált magok és a számítási fürtök létrehozására vonatkozó teljes regionális kvóta egységesítve van, és meg van osztva az Azure Machine Tanulás számítási példányok betanítási kvótájával.

Fontos

Ha el szeretné kerülni a díjakat, ha nem futnak feladatok, állítsa a minimális csomópontokat 0 értékre. Ezzel a beállítással az Azure Machine Tanulás megszüntethetik a csomópontok lefoglalását, ha nincsenek használatban. A 0-nál nagyobb értékek akkor is futtatják a csomópontok számát, ha nincsenek használatban.

A számítás automatikusan nulla csomópontra skáláz le, ha nincs használatban. A feladatok szükség szerinti futtatásához dedikált virtuális gépek jönnek létre.

Számítási fürt létrehozásához használja az alábbi példákat:

Python

Ha tartós Azure Machine-Tanulás Számítási erőforrást szeretne létrehozni a Pythonban, adja meg a tulajdonságokat és max_instances a size tulajdonságokat. Az Azure Machine Tanulás ezután intelligens alapértelmezett értékeket használ a többi tulajdonsághoz.

• méret: Az Azure Machine Tanulás Compute által létrehozott csomópontok virtuálisgép-családja.
• max_instances: Az automatikusan skálázható csomópontok maximális száma az Azure Machine Tanulás Compute-n végzett feladatok futtatásakor.

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()

Az Azure Machine Tanulás Compute létrehozásakor több speciális tulajdonságot is konfigurálhat. A tulajdonságok lehetővé teszik egy rögzített méretű állandó fürt létrehozását, vagy egy meglévő Azure-beli virtuális hálózaton belül az előfizetésben. Részletekért tekintse meg az AmlCompute osztályt .

Figyelmeztetés

A paraméter beállításakor location , ha a munkaterületétől vagy az adattáraitól eltérő régióról van szó, a hálózati késés és az adatátvitel költségei növekedhetnek. A késés és a költségek a fürt létrehozásakor és a rajta futó feladatok esetén fordulhatnak elő.

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

az ml compute create -f create-cluster.yml

A fájl create-cluster.yml helye:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: location-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
location: westus

Figyelmeztetés

Ha egy számítási fürtöt a munkaterület vagy az adattáraktól eltérő régióban használ, akkor a hálózati késés és az adatátvitel költségei növekedhetnek. A késés és a költségek a fürt létrehozásakor és a rajta futó feladatok esetén fordulhatnak elő.

Studio

Hozzon létre egy vagy többcsomópontos számítási fürtöt a betanítási, kötegelt következtetési vagy megerősítési tanulási számítási feladatokhoz.

1. Lépjen az Azure Machine Tanulás studióba.

2. A Kezelés területen válassza a Számítás lehetőséget.

3. Ha nincs számítási erőforrása, válassza a Lap közepén található Létrehozás lehetőséget .

   

4. Ha megjelenik a számítási erőforrások listája, válassza az +Új lehetőséget a lista fölött.

   

5. A lap tetején válassza a Számítási fürt lehetőséget.

6. Töltse ki az űrlapot az alábbiak szerint:

   Mező	Leírás
   Hely	Az Azure-régió, ahol a számítási fürt létrejön. Alapértelmezés szerint ez ugyanaz a hely, mint a munkaterület. Ha nem rendelkezik elegendő kvótával az alapértelmezett régióban, váltson másik régióra a további lehetőségekért. Ha a munkaterület vagy az adattáraktól eltérő régiót használ, a hálózati késés és az adatátvitel költségei növekedhetnek. A késés és a költségek a fürt létrehozásakor és a rajta futó feladatok esetén fordulhatnak elő.
   Virtuális gép típusa	Válassza ki a CPU-t vagy a GPU-t. Ez a típus a létrehozás után nem módosítható.
   Virtuális gép prioritása	Válassza a Dedikált vagy az Alacsony prioritás lehetőséget. Az alacsony prioritású virtuális gépek olcsóbbak, de nem garantálják a számítási csomópontokat. Előfordulhat, hogy a feladat előre fel lett dolgozva.
   Virtuális gép mérete	Előfordulhat, hogy a támogatott virtuális gépek mérete korlátozott a régióban. A rendelkezésre állási lista ellenőrzése

7. A Tovább elemet választva folytassa a Speciális Gépház, és töltse ki az űrlapot az alábbiak szerint:

   Mező	Leírás
   Számítási név	* A név megadása kötelező, és 3–24 karakter hosszúnak kell lennie. * Az érvényes karakterek a nagybetűk és a kisbetűk, a számjegyek és a - karakter. * A névnek betűvel kell kezdődnie. * A névnek egyedinek kell lennie az Azure-régió összes meglévő számításában. Riasztás jelenik meg, ha a választott név nem egyedi. * Ha - karaktert használ, akkor legalább egy betűt kell követnie a névben.
   Csomópontok minimális száma	A kiépíteni kívánt csomópontok minimális száma. Ha dedikált számú csomópontot szeretne, itt állítsa be ezt a számot. A minimális érték 0 értékre állításával pénzt takaríthat meg, így nem kell fizetnie a csomópontokért, ha a fürt tétlen.
   Csomópontok maximális száma	A kiépíteni kívánt csomópontok maximális száma. A számítás egy feladat elküldésekor automatikusan a csomópontok számának maximumára skálázódik.
   Tétlenség másodperccel a leskálázás előtt	Üresjárati idő a fürt minimális csomópontszámra való leskálázása előtt.
   SSH-hozzáférés engedélyezése	Használja ugyanazokat az utasításokat, mint az SSH-hozzáférés engedélyezése egy számítási példányhoz.
   Speciális beállítások	Opcionális. Konfigurálja a hálózati beállításokat. * Azure-beli virtuális hálózat esetén adja meg az erőforráscsoportot, a virtuális hálózatot és az alhálózatot a számítási példány hálózaton belüli létrehozásához. További információ: hálózati követelmények. * Ha egy Azure Machine Tanulás felügyelt hálózatot, a számítási fürt automatikusan a felügyelt hálózatban lesz. További információ: felügyelt hálózattal rendelkező felügyelt számítások. * Egyetlen nyilvános IP-cím sem konfigurálja, hogy a számítási fürt nyilvános IP-címmel rendelkezik-e a hálózaton. * Hozzárendelhet egy felügyelt identitást az erőforrásokhoz való hozzáférés biztosításához.

8. Válassza a Létrehozás lehetőséget.

SSH-hozzáférés engedélyezése

Az SSH-hozzáférés alapértelmezés szerint le van tiltva. Az SSH-hozzáférés a létrehozás után nem módosítható. Győződjön meg arról, hogy engedélyezi a hozzáférést, ha interaktív hibakeresést tervez a VS Code Remote használatával.

A Tovább: Speciális Gépház kiválasztása után:

1. Kapcsolja be az SSH-hozzáférés engedélyezését.
2. Az SSH nyilvános kulcs forrásában válasszon egyet a legördülő listából:
   • Ha új kulcspárt hoz létre:
     1. Adja meg a kulcs nevét a kulcspár nevében.
     2. Válassza a Létrehozás lehetőséget.
     3. Válassza a Titkos kulcs letöltése és a számítás létrehozása lehetőséget. A kulcs általában a Letöltések mappába van letöltve.
   • Ha az Azure-ban tárolt meglévő nyilvános kulcs használata lehetőséget választja, keresse meg és válassza ki a kulcsot a Tárolt kulcsban.
   • Ha a Meglévő nyilvános kulcs használata lehetőséget választja, adjon meg egy RSA nyilvános kulcsot egysoros formátumban (kezdve az "ssh-rsa" vagy a többsoros PEM formátummal). SSH-kulcsokat ssh-keygen használatával hozhat létre Linuxon és OS X-en, illetve Windowson a PuTTYGen használatával.

Csatlakozás SSH-hozzáféréssel

Miután létrehozta az SSH-hozzáféréssel rendelkező számítást, használja ezeket a lépéseket a hozzáféréshez.

1. Keresse meg a számítást a munkaterület erőforrásaiban:

   1. A bal oldalon válassza a Számítás lehetőséget.
   2. A számítógép megkereséséhez használja a felső lapfüleket a Számítási példány vagy a Számítási fürt kiválasztásához.

2. Válassza ki a számítási nevet az erőforrások listájában.

3. Keresse meg a kapcsolati sztring:

   • Számítási példány esetén válassza Csatlakozás a Részletek szakasz tetején.

     

   • Számítási fürt esetén válassza a csomópontok felül található csomópontokat, majd válassza ki a Csatlakozás ion sztringet a csomópont táblájában.

4. Másolja ki a kapcsolati sztring.

5. Windows esetén nyissa meg a PowerShellt vagy egy parancssort:

   1. Lépjen abba a könyvtárba vagy mappába, amelyben a kulcs van tárolva

   2. Adja hozzá az -i jelölőt a kapcsolati sztring a titkos kulcs megkereséséhez, és mutasson arra a helyre, ahol a rendszer tárolja:

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. Linux-felhasználók esetén kövesse az Azure-beli Linux rendszerű virtuális gépekhez készült SSH-kulcspár létrehozásának és használatának lépéseit

7. SCP-használat esetén:

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

A számítási fürt költségeinek csökkentése alacsony prioritású virtuális gépek használatával

Dönthet úgy is, hogy alacsony prioritású virtuális gépeket használ a számítási feladatok egy részének vagy mindegyikének futtatásához. Ezek a virtuális gépek nem rendelkeznek garantált rendelkezésre állási garanciával, és használat közben előre ki vannak állítva. Újra kell indítania egy előre elkészített feladatot.

Az Alacsony prioritású Azure-beli virtuális gépek használatával jelentős költségmegtakarítással kihasználhatja az Azure kihasználatlan kapacitását. Bármikor, amikor az Azure-nak vissza kell igényelnie a kapacitást, az Azure-infrastruktúra kiüríti az Alacsony prioritású Azure-beli virtuális gépeket. Ezért az Alacsony prioritású Azure-beli virtuális gép nagyszerűen használható olyan számítási feladatokhoz, amelyek képesek kezelni a megszakításokat. A rendelkezésre álló kapacitás mennyisége a mérettől, régiótól, napidőtől és egyebektől függően változhat. Az Alacsony prioritású Azure-beli virtuális gépek üzembe helyezésekor az Azure lefoglalja a virtuális gépeket, ha rendelkezésre áll kapacitás, de ezekhez a virtuális gépekhez nincs SLA. Az Alacsony prioritású Azure-beli virtuális gépekre nincs magas rendelkezésre állási garancia. Bármikor, amikor az Azure-nak vissza kell igényelnie a kapacitást, az Azure-infrastruktúra kiüríti az Alacsony prioritású Azure-beli virtuális gépeket.

Az alábbi módok bármelyikével adhat meg alacsony prioritású virtuális gépet:

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

from azure.ai.ml.entities import AmlCompute

cluster_low_pri = AmlCompute(
    name="low-pri-example",
    size="STANDARD_DS3_v2",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()

Azure CLI

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

Állítsa be a következőt vm-priority:

az ml compute create -f create-cluster.yml

A fájl create-cluster.yml helye:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

Feljegyzés

Ha kiszolgáló nélküli számítást használ, nem kell számítási fürtöt létrehoznia. Alacsony prioritású kiszolgáló nélküli számítás megadásához Spot állítsa be a beállítást az job_tierüzenetsor beállításai között.

Studio

A stúdióban válassza az Alacsony prioritás lehetőséget a virtuális gép létrehozásakor.

Felügyelt identitás beállítása

A felügyelt identitás számítási fürttel való konfigurálásáról további információt az Azure Machine Tanulás és más szolgáltatások közötti hitelesítés beállítása című témakörben talál.

Hibaelhárítás

Előfordulhat, hogy néhány felhasználó, aki az Azure Portalról hozta létre az Azure Machine Tanulás-munkaterületét a GA-kiadás előtt, előfordulhat, hogy nem tudja létrehozni az AmlCompute-t az adott munkaterületen. Támogatási kérést kezdeményezhet a szolgáltatással szemben, vagy létrehozhat egy új munkaterületet a portálon vagy az SDK-on keresztül, hogy azonnal feloldhassa a letiltást.

Fontos

Ha a számítási példány vagy számítási fürtök ezen sorozatok bármelyikén alapulnak, a szolgáltatáskimaradás elkerülése érdekében hozza létre újra a virtuálisgép-méretet egy másik virtuálisgép-mérettel a kivonási dátum előtt.

Ezek a sorozatok 2023. augusztus 31-én visszavonulnak:

• Azure NC-sorozat
• Azure NCv2-sorozat
• Azure ND-sorozat
• Azure NV- és NV_Promo sorozat

Ezek a sorozatok 2024. augusztus 31-én visszavonulnak:

• Azure Av1-sorozat
• Azure HB-sorozat

Elakadt az átméretezésnél

Ha az Azure Machine Tanulás számítási fürt elakadt a csomópont állapotának átméretezésénél (0 –>0), az Azure-erőforrás-zárolások okozhatják.

Az Azure lehetővé teszi, hogy zárolja az erőforrásokat, így azok nem törölhetők vagy csak olvashatók. Az erőforrás zárolása váratlan eredményekhez vezethet. Egyes műveletek, amelyek látszólag nem módosítják az erőforrást, valójában olyan intézkedéseket igényelnek, amelyeket a zárolás blokkol.

Az Azure Machine Tanulás esetén a munkaterület erőforráscsoportjának törlési zárolása megakadályozza az Azure ML számítási fürtök skálázási műveleteit. A probléma megoldásához javasoljuk, hogy távolítsa el a zárolást az erőforráscsoportból, és inkább alkalmazza azt a csoport egyes elemeire.

Fontos

Ne alkalmazza a zárolást a következő erőforrásokra:

Erőforrás neve	Erőforrás típusa
<GUID>-azurebatch-cloudservicenetworksecurityggroup	Hálózati biztonsági csoport
<GUID>-azurebatch-cloudservicepublicip	Nyilvános IP-cím
<GUID>-azurebatch-cloudserviceloadbalancer	Terheléselosztóval

Ezek az erőforrások a számítási fürttel való kommunikációra és olyan műveletek végrehajtására használhatók, mint a skálázás. Ha eltávolítja az erőforrás-zárolást ezekről az erőforrásokról, lehetővé kell tenni a számítási fürtök automatikus skálázását.

Az erőforrás-zárolással kapcsolatos további információkért lásd : Erőforrások zárolása a váratlan változások megelőzéséhez.

Következő lépés

Használja a számítási fürtöt a következő célokra:

• Betanítási futtatás elküldése
• Kötegelt következtetés futtatása