Vytvoření výpočetního clusteru Azure Machine Učení

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)Python SDK azure-ai-ml v2 (aktuální)

Tento článek vysvětluje, jak vytvořit a spravovat výpočetní cluster v pracovním prostoru Azure Machine Učení.

Pomocí výpočetního clusteru Azure Machine Učení můžete distribuovat proces trénování nebo dávkového odvozování napříč clusterem výpočetních uzlů procesoru nebo GPU v cloudu. Další informace o velikostech virtuálních počítačů, které obsahují GPU, najdete v tématu Velikosti virtuálních počítačů optimalizovaných pro GPU.

Naučte se:

• Vytvořte výpočetní cluster.
• Snížení nákladů na výpočetní cluster s využitím virtuálních počítačů s nízkou prioritou
• Nastavte spravovanou identitu pro cluster.

Poznámka:

Místo vytváření výpočetního clusteru využijte bezserverové výpočetní prostředky k přesměrování správy životního cyklu výpočetního cyklu do služby Azure Machine Učení.

Požadavky

• Pracovní prostor služby Azure Machine Learning. Další informace najdete v tématu Správa pracovních prostorů Učení Azure Machine.

• Rozšíření Azure CLI pro službu Machine Učení (v2), Azure Machine Učení Python SDK nebo rozšíření Azure Machine Učení Visual Studio Code.

• Pokud používáte sadu Python SDK, nastavte vývojové prostředí s pracovním prostorem. Po nastavení prostředí se připojte k pracovnímu prostoru ve skriptu Pythonu:

  PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

  Spuštěním tohoto kódu se připojte k pracovnímu prostoru Azure ML.

  V následujícím kódu nahraďte ID předplatného, název skupiny prostředků a název pracovního prostoru. Tyto hodnoty najdete takto:

  1. Přihlaste se k studio Azure Machine Learning.
  2. Otevřete pracovní prostor, který chcete použít.
  3. V pravém horním studio Azure Machine Learning panelu nástrojů vyberte název pracovního prostoru.
  4. Zkopírujte hodnotu pro pracovní prostor, skupinu prostředků a ID předplatného do kódu.
  5. Pokud používáte poznámkový blok v rámci studia, budete muset zkopírovat jednu hodnotu, oblast zavřít a vložit a pak se vrátit k dalšímu.

  # Enter details of your AML workspace
  subscription_id = "<SUBSCRIPTION_ID>"
  resource_group = "<RESOURCE_GROUP>"
  workspace = "<AML_WORKSPACE_NAME>"

  # get a handle to the workspace
  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient(
      DefaultAzureCredential(), subscription_id, resource_group, workspace
  )

  ml_client je obslužná rutina pracovního prostoru, který použijete ke správě jiných prostředků a úloh.

Co je výpočetní cluster?

Výpočetní cluster Azure Machine Učení je spravovaná výpočetní infrastruktura, která umožňuje snadno vytvořit výpočetní prostředky s jedním nebo více uzly. Výpočetní cluster je prostředek, který je možné sdílet s ostatními uživateli ve vašem pracovním prostoru. Výpočetní prostředky se automaticky škálují při odeslání úlohy a dají se umístit do služby Azure Virtual Network. Výpočetní cluster nepodporuje žádné nasazení veřejných IP adres ani ve virtuální síti. Výpočetní prostředí se spustí v kontejnerizovaném prostředí a zabalí závislosti modelu do kontejneru Dockeru.

Výpočetní clustery můžou bezpečně spouštět úlohy ve spravované virtuální síti nebo ve virtuální síti Azure, aniž by podniky musely otevírat porty SSH. Úloha se spustí v kontejnerizovaném prostředí a zabalí závislosti modelu do kontejneru Dockeru.

Omezení

• Výpočetní clustery je možné vytvořit v jiné oblasti než váš pracovní prostor. Tato funkce je dostupná jenom pro výpočetní clustery, ne pro výpočetní instance.

  Upozorňující

  Při použití výpočetního clusteru v jiné oblasti než v pracovním prostoru nebo úložišti dat se můžou zobrazit vyšší latence sítě a náklady na přenos dat. Latence a náklady můžou nastat při vytváření clusteru a při spouštění úloh.

• Azure Machine Učení Compute má výchozí limity, například počet jader, která je možné přidělit. Další informace najdete v tématu Správa a vyžádání kvót pro prostředky Azure.

• Azure umožňuje umístit zámky na prostředky, aby je nebylo možné odstranit nebo jen pro čtení. Nepoužívejte zámky prostředků na skupinu prostředků, která obsahuje váš pracovní prostor. Použití zámku u skupiny prostředků, která obsahuje váš pracovní prostor, brání operacím škálování pro výpočetní clustery Azure Machine Učení. Další informace o uzamčení prostředků najdete v tématu Uzamčení prostředků, abyste zabránili neočekávaným změnám.

Vytvoření

Časový odhad: Přibližně pět minut.

Poznámka:

Pokud používáte bezserverové výpočetní prostředky, nemusíte vytvářet výpočetní cluster.

Azure Machine Učení Compute je možné opakovaně používat napříč běhy. Výpočetní prostředky je možné sdílet s ostatními uživateli v pracovním prostoru a zachovat mezi spuštěními, automaticky vertikálně navyšovat nebo snížit kapacitu uzlů na základě počtu odeslaných spuštění a nastaveného max_nodes v clusteru. Nastavení min_nodes řídí minimální dostupné uzly.

Vyhrazená jádra na oblast na řadu virtuálních počítačů a celková kvóta pro oblast, která se vztahuje na vytvoření výpočetního clusteru, je jednotná a sdílená se službou Azure Machine Učení trénovací kvótou výpočetní instance.

Důležité

Pokud se chcete vyhnout poplatkům, pokud nejsou spuštěné žádné úlohy, nastavte minimální počet uzlů na 0. Toto nastavení umožňuje službě Azure Machine Učení zrušit přidělení uzlů, když se nepoužívají. Jakákoli hodnota větší než 0 zachová tento počet uzlů spuštěných, i když se nepoužívají.

Pokud se výpočetní prostředky nepoužívají, automaticky se škáluje na nula uzlů. Vyhrazené virtuální počítače se vytvoří pro spouštění úloh podle potřeby.

Pomocí následujících příkladů vytvořte výpočetní cluster:

Python SDK

Pokud chcete vytvořit trvalý prostředek Azure Machine Učení Compute v Pythonu, zadejte a sizemax_instances vlastnosti. Azure Machine Učení pak pro ostatní vlastnosti používá inteligentní výchozí hodnoty.

• velikost: Řada uzlů virtuálních počítačů vytvořená službou Azure Machine Učení Compute.
• max_instances: Maximální počet uzlů k automatickému škálování při spuštění úlohy na počítači Azure Učení Compute.

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()

Při vytváření služby Azure Machine Učení Compute můžete také nakonfigurovat několik pokročilých vlastností. Vlastnosti umožňují vytvořit trvalý cluster s pevnou velikostí nebo v rámci existující virtuální sítě Azure ve vašem předplatném. Podrobnosti najdete v třídě AmlCompute.

Upozorňující

Při nastavování parametru location , pokud se jedná o jinou oblast než pracovní prostor nebo úložiště dat, může se zobrazit vyšší latence sítě a náklady na přenos dat. Latence a náklady můžou nastat při vytváření clusteru a při spouštění úloh.

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

az ml compute create -f create-cluster.yml

Kde je soubor create-cluster.yml :

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: location-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
location: westus

Upozorňující

Pokud používáte výpočetní cluster v jiné oblasti než pracovní prostor nebo úložiště dat, může se zobrazit vyšší latence sítě a náklady na přenos dat. Latence a náklady můžou nastat při vytváření clusteru a při spouštění úloh.

Studio

Vytvořte výpočetní cluster s jedním nebo více uzly pro trénování, dávkové odvozování nebo úlohy učení s posílením.

1. Přejděte na studio Azure Machine Learning.

2. V části Spravovat vyberte Compute.

3. Pokud nemáte žádné výpočetní prostředky, vyberte Vytvořit uprostřed stránky.

   

4. Pokud se zobrazí seznam výpočetních prostředků, vyberte nad seznamem +Nový .

   

5. Na kartách v horní části vyberte Výpočetní cluster.

6. Vyplňte formulář následujícím způsobem:

   Pole	Popis
   Location	Oblast Azure, ve které se výpočetní cluster vytvoří. Ve výchozím nastavení se jedná o stejné umístění jako pracovní prostor. Pokud ve výchozí oblasti nemáte dostatečnou kvótu, přejděte na jinou oblast, kde najdete další možnosti. Pokud používáte jinou oblast než pracovní prostor nebo úložiště dat, může se zobrazit vyšší latence sítě a náklady na přenos dat. Latence a náklady můžou nastat při vytváření clusteru a při spouštění úloh.
   Typ virtuálního počítače	Zvolte procesor nebo GPU. Tento typ nelze po vytvoření změnit.
   Priorita virtuálního počítače	Zvolte vyhrazenou nebo nízkou prioritu. Virtuální počítače s nízkou prioritou jsou levnější, ale nezaručují výpočetní uzly. Vaše práce může být předem zrušena.
   Velikost virtuálního počítače	Podporované velikosti virtuálních počítačů můžou být ve vaší oblasti omezené. Kontrola seznamu dostupnosti

7. Výběrem možnosti Další přejděte k rozšířenému Nastavení a vyplňte formulář následujícím způsobem:

   Pole	Popis
   Název výpočetních prostředků	* Název je povinný a musí mít délku 3 až 24 znaků. * Platné znaky jsou velká a malá písmena, číslice a - znak. * Název musí začínat písmenem. * Název musí být jedinečný napříč všemi existujícími výpočetními prostředky v rámci oblasti Azure. Pokud zvolený název není jedinečný, zobrazí se upozornění. * Pokud - je použit znak, musí být za ním aspoň jedno písmeno později v názvu.
   Minimální počet uzlů	Minimální počet uzlů, které chcete zřídit. Pokud chcete mít vyhrazený počet uzlů, nastavte tento počet. Ušetřete peníze tím, že nastavíte minimum na 0, takže při nečinnosti clusteru neplatíte za žádné uzly.
   Maximální počet uzlů	Maximální počet uzlů, které chcete zřídit. Výpočetní prostředky se při odeslání úlohy automaticky škálují na maximální počet uzlů.
   Nečinné sekundy před vertikálním snížením kapacity	Doba nečinnosti před vertikálním snížením kapacity clusteru na minimální počet uzlů
   Povolení přístupu SSH	Použijte stejné pokyny jako Povolení přístupu SSH pro výpočetní instanci.
   Rozšířené nastavení	Nepovinné. Nakonfigurujte nastavení sítě. * Pokud se jedná o virtuální síť Azure, zadejte skupinu prostředků, virtuální síť a podsíť , abyste vytvořili výpočetní instanci v síti. Další informace najdete v požadavcích na síť. * Pokud je počítač Azure Učení spravovaná síť, výpočetní cluster se automaticky nachází ve spravované síti. Další informace najdete ve spravovaných výpočetních prostředcích se spravovanou sítí. * Žádná veřejná IP adresa nenakonfiguruje, jestli má výpočetní cluster veřejnou IP adresu, když je v síti. * Přiřaďte spravovanou identitu pro udělení přístupu k prostředkům.

8. Vyberte Vytvořit.

Povolení přístupu SSH

Přístup přes SSH je ve výchozím nastavení zakázaný. Po vytvoření není možné změnit přístup SSH. Pokud plánujete interaktivně ladit pomocí nástroje VS Code Remote, nezapomeňte povolit přístup.

Po výběru možnosti Další: Upřesnit Nastavení:

1. Zapněte povolení přístupu SSH.
2. Ve zdroji veřejného klíče SSH vyberte jednu z možností z rozevíracího seznamu:
   • Pokud vygenerujete nový pár klíčů:
     1. Do názvu páru klíčů zadejte název klíče.
     2. Vyberte Vytvořit.
     3. Vyberte Stáhnout privátní klíč a vytvořte výpočetní prostředky. Klíč se obvykle stáhne do složky Stažené soubory .
   • Pokud vyberete Možnost Použít existující veřejný klíč uložený v Azure, vyhledejte a vyberte klíč v uloženém klíči.
   • Pokud vyberete Možnost Použít existující veřejný klíč, zadejte veřejný klíč RSA v jednořádkovém formátu (počínaje "ssh-rsa") nebo víceřádkový formát PEM. Klíče SSH můžete vygenerovat pomocí ssh-keygen v Linuxu a OS X nebo PuTTYGenu ve Windows.

Připojení s přístupem SSH

Po vytvoření výpočetních prostředků s povoleným přístupem SSH použijte tento postup pro přístup.

1. Najděte výpočetní prostředky v prostředcích pracovního prostoru:

   1. Na levé straně vyberte Compute.
   2. Pomocí karet v horní části vyberte výpočetní instanci nebo výpočetní cluster a vyhledejte počítač.

2. V seznamu prostředků vyberte název výpočetních prostředků.

3. Vyhledejte připojovací řetězec:

   • V případě výpočetní instance vyberte Připojení v horní části části Podrobnosti.

     

   • V případě výpočetního clusteru vyberte v horní části uzly a pak v tabulce pro váš uzel vyberte řetězec Připojení ion.

4. Zkopírujte připojovací řetězec.

5. V případě Windows otevřete PowerShell nebo příkazový řádek:

   1. Přejděte do adresáře nebo složky, ve které je uložený klíč.

   2. Přidejte příznak -i do připojovací řetězec vyhledejte privátní klíč a přejděte na místo, kde je uložený:

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. Pro uživatele s Linuxem postupujte podle pokynů v tématu Vytvoření a použití páru klíčů SSH pro virtuální počítače s Linuxem v Azure.

7. Pro SCP použijte:

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

Snížení nákladů na výpočetní cluster s využitím virtuálních počítačů s nízkou prioritou

Můžete také použít virtuální počítače s nízkou prioritou ke spouštění některých nebo všech úloh. Tyto virtuální počítače nemají zaručenou dostupnost a mohou být při použití předem zrušené. Musíte restartovat předem zatěžovanou úlohu.

Použití virtuálních počítačů s nízkou prioritou Azure vám umožní využít nevyužitou kapacitu Azure za významné úspory nákladů. V jakémkoli okamžiku, kdy Azure potřebuje kapacitu zpět, infrastruktura Azure vyřadí virtuální počítače Azure s nízkou prioritou. Virtuální počítač Azure s nízkou prioritou je proto skvělý pro úlohy, které můžou zvládnout přerušení. Množství dostupné kapacity se může lišit v závislosti na velikosti, oblasti, denní době a dalších možnostech. Při nasazování virtuálních počítačů s nízkou prioritou Azure přiděluje Azure virtuální počítače, pokud je k dispozici kapacita, ale pro tyto virtuální počítače neexistuje žádná smlouva SLA. Virtuální počítač s nízkou prioritou Azure nenabízí žádné záruky vysoké dostupnosti. V jakémkoli okamžiku, kdy Azure potřebuje kapacitu zpět, infrastruktura Azure vyřadí virtuální počítače Azure s nízkou prioritou.

K určení virtuálního počítače s nízkou prioritou použijte některý z těchto způsobů:

Python SDK

PLATÍ PRO: Python SDK azure-ai-ml v2 (aktuální)

from azure.ai.ml.entities import AmlCompute

cluster_low_pri = AmlCompute(
    name="low-pri-example",
    size="STANDARD_DS3_v2",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()

Azure CLI

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

Nastavte :vm-priority

az ml compute create -f create-cluster.yml

Kde je soubor create-cluster.yml :

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

Poznámka:

Pokud používáte bezserverové výpočetní prostředky, nemusíte vytvářet výpočetní cluster. Pokud chcete zadat bezserverové výpočetní prostředky s nízkou prioritou, nastavte job_tier hodnotu Spot v nastavení fronty.

Studio

V sadě Studio zvolte při vytváření virtuálního počítače nízkou prioritu .

Nastavení spravované identity

Informace o tom, jak nakonfigurovat spravovanou identitu s výpočetním clusterem, najdete v tématu Nastavení ověřování mezi službou Azure Machine Učení a dalšími službami.

Řešení problému

Je možné, že někteří uživatelé, kteří vytvořili pracovní prostor Azure Machine Učení z webu Azure Portal před vydáním ga, nemusí v daném pracovním prostoru vytvářet AmlCompute. Můžete buď vytvořit žádost o podporu pro službu, nebo vytvořit nový pracovní prostor prostřednictvím portálu nebo sady SDK a okamžitě se odblokovat.

Důležité

Pokud jsou vaše výpočetní instance nebo výpočetní clustery založené na některé z těchto řad, vytvořte před datem vyřazení z provozu znovu jinou velikost virtuálního počítače, abyste se vyhnuli přerušení služeb.

Tyto série se vyřazuje 31. srpna 2023:

• Řada SÍŤOVÝch adaptérů Azure
• Řada Azure NCv2
• Řada Azure ND
• Řada Azure NV a NV_Promo

Tyto série se vyřazuje 31. srpna 2024:

• Řada Azure Av1
• Řada Azure HB

Zablokovaný při změně velikosti

Pokud se váš výpočetní cluster Azure Učení zobrazí při změně velikosti (0–>0) stavu uzlu, může to být příčinou zámků prostředků Azure.

Azure umožňuje umístit zámky na prostředky, aby je nebylo možné odstranit nebo jsou jen pro čtení. Uzamčení prostředku může vést k neočekávaným výsledkům. Některé operace, u kterých se zdá, že prostředek neupravují, ve skutečnosti vyžadují akce, které zámek zablokuje.

Když Učení Azure Machine, použití zámku odstranění u skupiny prostředků pro váš pracovní prostor zabrání operacím škálování výpočetních clusterů Azure ML. Pokud chcete tento problém obejít, doporučujeme odebrat zámek ze skupiny prostředků a místo toho ho použít u jednotlivých položek ve skupině.

Důležité

Zámek nepoužívejte u následujících prostředků:

Název prostředku	Typ prostředku
<GUID>-azurebatch-cloudservicenetworksecurityggroup	Skupina zabezpečení sítě
<GUID>-azurebatch-cloudservicepublicip	Veřejná IP adresa
<GUID>-azurebatch-cloudserviceloadbalancer	Load Balancer

Tyto prostředky se používají ke komunikaci s výpočetním clusterem a provádějí operace, jako je škálování na výpočetní cluster. Odebrání zámku prostředku z těchto prostředků by mělo umožňovat automatické škálování výpočetních clusterů.

Další informace o uzamčení prostředků najdete v tématu Uzamčení prostředků, abyste zabránili neočekávaným změnám.

Další krok

Pomocí výpočetního clusteru můžete:

• Odeslání trénovacího spuštění
• Spuštění dávkového odvození