Azure Machine Learning számítási fürt létrehozása
ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)
Python SDK azure-ai-ml v2 (aktuális)
Ez a cikk azt ismerteti, hogyan hozhat létre és kezelhet számítási fürtöt az Azure Machine Learning-munkaterületen.
Az Azure Machine Learning számítási fürt használatával kioszthat egy betanítási vagy kötegelt következtetési folyamatot a felhőben található CPU- vagy GPU-számítási csomópontokból álló fürtök között. A GPU-kat tartalmazó virtuálisgép-méretekről további információt a GPU-ra optimalizált virtuálisgép-méretekben talál.
Az alábbiak végrehajtásának módját ismerheti meg:
- Hozzon létre egy számítási fürtöt.
- Csökkentse a számítási fürt költségeit alacsony prioritású virtuális gépek használatával.
- Állítson be egy felügyelt identitást a fürthöz.
Feljegyzés
Számítási fürt létrehozása helyett használjon kiszolgáló nélküli számítást a számítási életciklus felügyeletének az Azure Machine Learningbe való kiszervezéséhez.
Előfeltételek
- Egy Azure Machine Learning-munkaterület. További információ: Azure Machine Learning-munkaterületek kezelése.
Válassza ki a megfelelő lapot a többi előfeltételhez a számítási fürt létrehozásának előnyben részesített módszere alapján.
Ha nem számítási példányon futtatja a kódot, telepítse az Azure Machine Learning Python SDK-t. Ez az SDK már telepítve van egy számítási példányon.
Csatolja a munkaterülethez a Python-szkriptben:
Futtassa ezt a kódot az Azure Machine Learning-munkaterülethez való csatlakozáshoz.
Cserélje le az előfizetés azonosítóját, az erőforráscsoport nevét és a munkaterület nevét az alábbi kódban. Az alábbi értékek megkeresése:
- Jelentkezzen be az Azure Machine Learning Studióba.
- Nyissa meg a használni kívánt munkaterületet.
- Válassza ki a munkaterület nevét a jobb felső Azure Machine Learning Studio eszköztáron.
- Másolja a munkaterület, az erőforráscsoport és az előfizetés azonosítójának értékét a kódba.
- Másolja ki az egyik értéket, zárja be a területet, és illessze be, majd térjen vissza a következőre, amikor a studióban lévő jegyzetfüzetbe illeszt be.
A KÖVETKEZŐKRE VONATKOZIK:
Python SDK azure-ai-ml v2 (aktuális)
# Enter details of your AML workspace subscription_id = "<SUBSCRIPTION_ID>" resource_group = "<RESOURCE_GROUP>" workspace = "<AML_WORKSPACE_NAME>"
# get a handle to the workspace from azure.ai.ml import MLClient from azure.identity import DefaultAzureCredential ml_client = MLClient( DefaultAzureCredential(), subscription_id, resource_group, workspace )
ml_client
a munkaterület kezelője, amelyet más erőforrások és feladatok kezelésére használ.
Mi az a számítási fürt?
Az Azure Machine Learning számítási fürt egy felügyelt számítási infrastruktúra, amely lehetővé teszi egyetlen vagy többcsomópontos számítás egyszerű létrehozását. A számítási fürt olyan erőforrás, amely megosztható a munkaterület többi felhasználójával. A számítási kapacitás automatikusan felskálázódik egy feladat elküldésekor, és elhelyezhető egy Azure-beli virtuális hálózatban. A számítási fürt nem támogatja a nyilvános IP-telepítést , valamint a virtuális hálózaton. A számítás tárolóalapú környezetben fut, és a modell függőségeit egy Docker-tárolóba csomagolja.
A számítási fürtök biztonságosan futtathatnak feladatokat felügyelt virtuális hálózaton vagy Azure-beli virtuális hálózaton anélkül, hogy a vállalatoknak SSH-portokat kellene megnyitniuk. A feladat tárolóalapú környezetben fut, és a modell függőségeit egy Docker-tárolóba csomagolja.
Korlátozások
A számítási fürtök a munkaterületen kívüli régióban hozhatók létre. Ez a funkció csak számítási fürtök esetén érhető el, számítási példányokhoz nem.
Figyelmeztetés
Ha egy számítási fürtöt a munkaterület vagy az adattáraktól eltérő régióban használ, a hálózati késés és az adatátvitel költségei növekedhetnek. A késés és a költségek a fürt létrehozásakor és a rajta futó feladatok esetén fordulhatnak elő.
Az Azure Machine Learning Compute alapértelmezett korlátokkal rendelkezik, például a lefoglalható magok számával. További információ: Az Azure-erőforrások kvótáinak kezelése és kérése.
Az Azure lehetővé teszi, hogy zárolja az erőforrásokat, így azok nem törölhetők vagy csak olvashatók. Ne alkalmazza az erőforrás-zárolásokat a munkaterületet tartalmazó erőforráscsoportra. A munkaterületet tartalmazó erőforráscsoport zárolásának alkalmazása megakadályozza az Azure Machine Learning számítási fürtök skálázási műveleteit. Az erőforrások zárolásával kapcsolatos további információkért lásd : Erőforrások zárolása a váratlan változások megelőzése érdekében.
Létrehozás
Időbecslés: Körülbelül öt perc.
Feljegyzés
Ha kiszolgáló nélküli számítást használ, nem kell számítási fürtöt létrehoznia.
Az Azure Machine Learning Compute több futtatáson is újra felhasználható. A számítás megosztható a munkaterület többi felhasználójával, és a futtatások között megmarad, automatikusan fel- vagy leskálázva a csomópontokat az elküldött futtatások száma és a max_nodes
fürt beállítása alapján. A min_nodes
beállítás szabályozza az elérhető minimális csomópontokat.
A virtuális gép családkvóta szerinti régiónkénti dedikált magok és a számítási fürtök létrehozására vonatkozó teljes regionális kvóta egységesítve van, és meg van osztva az Azure Machine Learning betanítási számítási példánykvóval.
Fontos
Ha el szeretné kerülni a díjakat, ha nem futnak feladatok, állítsa a minimális csomópontokat 0 értékre. Ezzel a beállítással az Azure Machine Learning megszünteti a csomópontok lefoglalását, ha nincsenek használatban. A 0-nál nagyobb értékek akkor is futtatják a csomópontok számát, ha nincsenek használatban.
A számítás automatikusan nulla csomópontra skáláz le, ha nincs használatban. A feladatok szükség szerinti futtatásához dedikált virtuális gépek jönnek létre.
Számítási fürt létrehozásához használja az alábbi példákat:
Ha tartós Azure Machine Learning Compute-erőforrást szeretne létrehozni a Pythonban, adja meg a tulajdonságokat és max_instances
a size
tulajdonságokat. Az Azure Machine Learning ezután intelligens alapértelmezett értékeket használ a többi tulajdonsághoz.
- méret: Az Azure Machine Learning Compute által létrehozott csomópontok virtuálisgép-családja.
- max_instances: Az automatikusan skálázható csomópontok maximális száma az Azure Machine Learning Compute-feladat futtatásakor.
A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)
from azure.ai.ml.entities import AmlCompute
cluster_basic = AmlCompute(
name="basic-example",
type="amlcompute",
size="STANDARD_DS3_v2",
location="westus",
min_instances=0,
max_instances=2,
idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()
Az Azure Machine Learning Compute létrehozásakor több speciális tulajdonságot is konfigurálhat. A tulajdonságok lehetővé teszik egy rögzített méretű állandó fürt létrehozását, vagy egy meglévő Azure-beli virtuális hálózaton belül az előfizetésben. Részletekért tekintse meg az AmlCompute osztályt .
Figyelmeztetés
A paraméter beállításakor location
, ha a munkaterületétől vagy az adattáraitól eltérő régióról van szó, a hálózati késés és az adatátvitel költségei növekedhetnek. A késés és a költségek a fürt létrehozásakor és a rajta futó feladatok esetén fordulhatnak elő.
A számítási fürt költségeinek csökkentése alacsony prioritású virtuális gépek használatával
Dönthet úgy is, hogy alacsony prioritású virtuális gépeket használ a számítási feladatok egy részének vagy mindegyikének futtatásához. Ezek a virtuális gépek nem rendelkeznek garantált rendelkezésre állási garanciával, és használat közben előre ki vannak állítva. Újra kell indítania egy előre elkészített feladatot.
Az Alacsony prioritású Azure-beli virtuális gépek használatával jelentős költségmegtakarítással kihasználhatja az Azure kihasználatlan kapacitását. Bármikor, amikor az Azure-nak vissza kell igényelnie a kapacitást, az Azure-infrastruktúra kiüríti az Alacsony prioritású Azure-beli virtuális gépeket. Ezért az Alacsony prioritású Azure-beli virtuális gép nagyszerűen használható olyan számítási feladatokhoz, amelyek képesek kezelni a megszakításokat. A rendelkezésre álló kapacitás mennyisége a mérettől, régiótól, napidőtől és egyebektől függően változhat. Az Alacsony prioritású Azure-beli virtuális gépek üzembe helyezésekor az Azure lefoglalja a virtuális gépeket, ha rendelkezésre áll kapacitás, de ezekhez a virtuális gépekhez nincs SLA. Az Alacsony prioritású Azure-beli virtuális gépekre nincs magas rendelkezésre állási garancia. Bármikor, amikor az Azure-nak vissza kell igényelnie a kapacitást, az Azure-infrastruktúra kiüríti az Alacsony prioritású Azure-beli virtuális gépeket.
Az alábbi módok bármelyikével adhat meg alacsony prioritású virtuális gépet:
A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)
from azure.ai.ml.entities import AmlCompute
cluster_low_pri = AmlCompute(
name="low-pri-example",
size="STANDARD_DS3_v2",
min_instances=0,
max_instances=2,
idle_time_before_scale_down=120,
tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()
Törlés
Míg a számítási fürt használaton kívüli állapotban nulla csomópontra skálázható le, a ki nem bontott csomópontok hozzájárulnak a kvótahasználathoz. A számítási fürt törlése eltávolítja a számítási célt a munkaterületről, és felszabadítja a kvótát.
A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)
Ez törli a cikk korábbi részében az objektumból create_basic
létrehozott alapszintű számítási fürtöt.
from azure.ai.ml.entities import AmlCompute
ml_client.compute.begin_delete(cluster_basic.name).wait()
Felügyelt identitás beállítása
A felügyelt identitás számítási fürttel való konfigurálásáról további információt az Azure Machine Learning és más szolgáltatások közötti hitelesítés beállítása című témakörben talál.
Hibaelhárítás
Előfordulhat, hogy egyes felhasználók, akik az Azure Portalról hozták létre az Azure Machine Learning-munkaterületüket a GA-kiadás előtt, előfordulhat, hogy egyes felhasználók nem tudják létrehozni az AmlCompute-t az adott munkaterületen. Támogatási kérést kezdeményezhet a szolgáltatással szemben, vagy létrehozhat egy új munkaterületet a portálon vagy az SDK-on keresztül, hogy azonnal feloldhassa a letiltást.
Fontos
Ha a számítási példány vagy számítási fürtök ezen sorozatok bármelyikén alapulnak, a szolgáltatáskimaradás elkerülése érdekében hozza létre újra a virtuálisgép-méretet egy másik virtuálisgép-mérettel a kivonási dátum előtt.
Ezek a sorozatok 2023. augusztus 31-én visszavonulnak:
Ezek a sorozatok 2024. augusztus 31-én visszavonulnak:
Elakadt az átméretezésnél
Ha úgy tűnik, hogy az Azure Machine Learning számítási fürt elakad a csomópont állapotának átméretezésénél (0 –> 0), az Azure-erőforrás-zárolások okozhatják.
Az Azure lehetővé teszi, hogy zárolja az erőforrásokat, így azok nem törölhetők vagy csak olvashatók. Az erőforrás zárolása váratlan eredményekhez vezethet. Egyes műveletek, amelyek látszólag nem módosítják az erőforrást, valójában olyan intézkedéseket igényelnek, amelyeket a zárolás blokkol.
Az Azure Machine Learning használatával a munkaterület erőforráscsoportjának törlési zárolása megakadályozza az Azure ML számítási fürtök skálázási műveleteit. A probléma megoldásához javasoljuk, hogy távolítsa el a zárolást az erőforráscsoportból, és inkább alkalmazza azt a csoport egyes elemeire.
Fontos
Ne alkalmazza a zárolást a következő erőforrásokra:
Erőforrás neve | Erőforrás típusa |
---|---|
<GUID>-azurebatch-cloudservicenetworksecurityggroup |
Hálózati biztonsági csoport |
<GUID>-azurebatch-cloudservicepublicip |
Nyilvános IP-cím |
<GUID>-azurebatch-cloudserviceloadbalancer |
Terheléselosztóval |
Ezek az erőforrások a számítási fürttel való kommunikációra és olyan műveletek végrehajtására használhatók, mint a skálázás. Ha eltávolítja az erőforrás-zárolást ezekről az erőforrásokról, lehetővé kell tenni a számítási fürtök automatikus skálázását.
Az erőforrás-zárolással kapcsolatos további információkért lásd : Erőforrások zárolása a váratlan változások megelőzéséhez.
Következő lépés
Használja a számítási fürtöt a következő célokra: