Co jsou cílové výpočetní objekty ve službě Azure Machine Learning?
Cílový výpočetní objekt je určený výpočetní prostředek nebo prostředí, ve kterém spouštíte trénovací skript nebo hostujete nasazení služby. Toto umístění může být místní počítač nebo cloudový výpočetní prostředek. Použití cílových výpočetních prostředků usnadňuje pozdější změnu výpočetního prostředí bez nutnosti měnit kód.
Azure Machine Učení má různou podporu napříč různými cíli výpočetních prostředků. V typickém životním cyklu vývoje modelu můžete:
- Začněte vývojem a experimentováním s malým množstvím dat. V této fázi jako cíl výpočetních prostředků použijte místní prostředí, jako je místní počítač nebo cloudový virtuální počítač.
- Vertikálně navyšte kapacitu na větší data nebo proveďte distribuované trénování pomocí jednoho z těchto trénovacích výpočetních cílů.
- Jakmile je model připravený, nasaďte ho do hostitelského prostředí webu s jedním z těchto cílových výpočetních prostředků nasazení.
Výpočetní prostředky, které používáte pro cílové výpočetní objekty, jsou připojené k pracovnímu prostoru. Výpočetní prostředky jiné než místní počítač sdílí uživatelé pracovního prostoru.
Trénování cílových výpočetních prostředků
Při vertikálním navýšení kapacity trénování u větších datových sad nebo provádění distribuovaného trénování můžete pomocí služby Azure Machine Učení výpočetních prostředků vytvořit cluster s jedním nebo více uzly, který se automaticky škáluje při každém odeslání úlohy. Můžete také připojit vlastní výpočetní prostředek, i když se podpora pro různé scénáře může lišit.
Cílové výpočetní objekty je možné znovu použít z jedné trénovací úlohy na další. Například po připojení vzdáleného virtuálního počítače k pracovnímu prostoru ho můžete znovu použít pro více úloh. Pro kanály strojového učení použijte příslušný krok kanálu pro každý cílový výpočetní objekt.
Pro trénovací cílový výpočetní objekt pro většinu úloh můžete použít libovolný z následujících prostředků. Ne všechny prostředky se dají použít pro automatizované strojové učení, kanály strojového učení nebo návrháře. Azure Databricks se dá použít jako trénovací prostředek pro místní spuštění a kanály strojového učení, ale ne jako vzdálený cíl pro jiné trénování.
| Cíle trénování | Automatizované strojové učení | Kanály strojového učení | Návrhář služby Azure Machine Učení |
|---|---|---|---|
| Místní počítač | Ano | ||
| Výpočetní cluster Azure Machine Učení | Ano | Ano | Yes |
| Azure Machine Učení bezserverové výpočetní prostředí | Ano | Ano | Yes |
| Výpočetní instance služby Azure Machine Učení | Ano (prostřednictvím sady SDK) | Ano | Yes |
| Azure Machine Učení Kubernetes | Ano | Yes | |
| Vzdálený virtuální počítač | Ano | Yes | |
| Fondy Apache Sparku (Preview) | Ano (pouze místní režim sady SDK) | Ano | |
| Azure Databricks | Ano (pouze místní režim sady SDK) | Ano | |
| Azure Data Lake Analytics | Ano | ||
| Azure HDInsight | Ano | ||
| Azure Batch | Ano |
Tip
Výpočetní instance má 120GB disk s operačním systémem. Pokud vám dojde místo na disku, před zastavením nebo restartováním výpočetní instance pomocí terminálu vymažte alespoň 1 až 2 GB.
Cílové výpočetní objekty pro odvozování
Při odvozování azure machine Učení vytvoří kontejner Dockeru, který je hostitelem modelu a přidružených prostředků potřebných k jeho použití. Tento kontejner se pak použije v cílovém výpočetním objektu.
Cílový výpočetní objekt, který používáte k hostování modelu, ovlivňuje náklady a dostupnost nasazeného koncového bodu. Tato tabulka slouží k výběru vhodného cílového výpočetního objektu.
| Cílový výpočetní objekt | Použití | Podpora GPU | Popis |
|---|---|---|---|
| Koncové body služby Azure Machine Learning | Odvození v reálném čase Dávkové odvozování |
Ano | Plně spravované výpočetní prostředky pro výpočetní prostředky bez serveru (spravované online koncové body) a dávkové vyhodnocování (dávkové koncové body). |
| Azure Machine Učení Kubernetes | Odvození v reálném čase Dávkové odvozování |
Ano | Spouštění úloh odvození v místních clusterech, cloudech a hraničních clusterech Kubernetes |
| Cílový výpočetní objekt | Použití | Podpora GPU | Popis |
|---|---|---|---|
| Místní webová služba | Testování/ladění | Slouží k omezenému testování a řešení potíží. Hardwarová akcelerace závisí na použití knihoven v místním systému. | |
| Azure Machine Učení Kubernetes | Odvozování v reálném čase | Ano | Spouštění úloh odvození v cloudu |
| Azure Container Instances | Odvození v reálném čase Doporučuje se pouze pro účely vývoje/testování. |
Používá se pro úlohy založené na procesoru s nízkou škálou, které vyžadují méně než 48 GB paměti RAM. Nevyžaduje správu clusteru. Vhodné pouze pro modely menší než 1 GB. Podporováno v návrháři. |
Poznámka:
Při výběru skladové položky clusteru nejprve vertikálně navyšte kapacitu a pak vertikálně navyšte kapacitu. Začněte počítačem, který má 150 % paměti RAM, který váš model vyžaduje, profilujte výsledek a najděte počítač, který má požadovaný výkon. Jakmile se to naučíte, zvyšte počet počítačů tak, aby vyhovoval vašim potřebujete pro souběžné odvozování.
Výpočetní Učení Azure (spravované)
Azure Machine Učení vytváří a spravuje spravované výpočetní prostředky. Tento typ výpočetních prostředků je optimalizovaný pro úlohy strojového učení. Výpočetní clustery Azure Učení, bezserverové výpočetní a výpočetní instance jsou jediné spravované výpočetní prostředky.
Není potřeba vytvářet bezserverové výpočetní prostředky. Azure Machine Učení výpočetních instancí nebo výpočetních clusterů můžete vytvořit z:
- Azure Machine Learning Studio
- Sada Python SDK a Azure CLI:
- Šablona Azure Resource Manageru. Příklad šablony najdete v tématu Vytvoření výpočetního clusteru Azure Machine Učení.
Poznámka:
Místo vytváření výpočetního clusteru využijte bezserverové výpočetní prostředky k přesměrování správy životního cyklu výpočetního cyklu do služby Azure Machine Učení.
Při vytváření jsou tyto výpočetní prostředky automaticky součástí vašeho pracovního prostoru, na rozdíl od jiných typů cílových výpočetních prostředků.
| Schopnost | Výpočtový cluster | Výpočetní instance |
|---|---|---|
| Cluster s jedním nebo více uzly | ✓ | Cluster s jedním uzlem |
| Automatické škálování při každém odeslání úlohy | ✓ | |
| Automatická správa clusteru a plánování úloh | ✓ | ✓ |
| Podpora prostředků PROCESORu i GPU | ✓ | ✓ |
Poznámka:
Abyste se vyhnuli poplatkům za nečinnost výpočetních prostředků:
- V případě výpočetního clusteru se ujistěte, že je minimální počet uzlů nastavený na 0, nebo použijte bezserverové výpočetní prostředky.
- U výpočetní instance povolte vypnutí nečinnosti.
Podporované řady a velikosti virtuálních počítačů
Důležité
Pokud jsou vaše výpočetní instance nebo výpočetní clustery založené na některé z těchto řad, vytvořte před datem vyřazení z provozu znovu jinou velikost virtuálního počítače, abyste se vyhnuli přerušení služeb.
Tyto série se vyřazuje 31. srpna 2023:
Tyto série se vyřazuje 31. srpna 2024:
Když vyberete velikost uzlu pro spravovaný výpočetní prostředek ve službě Azure Machine Učení, můžete si vybrat z vybraných velikostí virtuálních počítačů dostupných v Azure. Azure nabízí řadu velikostí pro Linux a Windows pro různé úlohy. Další informace najdete v tématu Typy a velikosti virtuálních počítačů.
Při výběru velikosti virtuálního počítače existuje několik výjimek a omezení:
- Některé řady virtuálních počítačů se v azure machine Učení nepodporují.
- Některé řady virtuálních počítačů, jako jsou GPU a jiné speciální skladové položky, se nemusí zpočátku zobrazovat v seznamu dostupných virtuálních počítačů. Přesto je ale můžete použít, jakmile požádáte o změnu kvóty. Další informace o vyžádání kvót najdete v tématu Žádost o navýšení kvóty a limitu. Další informace o podporovaných řadách najdete v následující tabulce.
| Podporovaná řada virtuálních počítačů | Kategorie | Podporováno |
|---|---|---|
| DDSv4 | Obecné účely | Výpočetní clustery a instance |
| Dv2 | Obecné účely | Výpočetní clustery a instance |
| Dv3 | Obecné účely | Výpočetní clustery a instance |
| DSv2 | Obecné účely | Výpočetní clustery a instance |
| DSv3 | Obecné účely | Výpočetní clustery a instance |
| EAv4 | Optimalizované pro paměť | Výpočetní clustery a instance |
| Ev3 | Optimalizované pro paměť | Výpočetní clustery a instance |
| ESv3 | Optimalizované pro paměť | Výpočetní clustery a instance |
| FSv2 | Optimalizované pro výpočty | Výpočetní clustery a instance |
| FX | Optimalizované pro výpočty | Výpočetní clustery |
| H | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| HB | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| HBv2 | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| HBv3 | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| HC | Vysokovýkonné výpočetní prostředí | Výpočetní clustery a instance |
| LSv2 | Optimalizované pro úložiště | Výpočetní clustery a instance |
| M | Optimalizované pro paměť | Výpočetní clustery a instance |
| NC | GPU | Výpočetní clustery a instance |
| NC Promo | GPU | Výpočetní clustery a instance |
| NCv2 | GPU | Výpočetní clustery a instance |
| NCv3 | GPU | Výpočetní clustery a instance |
| ND | GPU | Výpočetní clustery a instance |
| NDv2 | GPU | Výpočetní clustery a instance |
| NV | GPU | Výpočetní clustery a instance |
| NVv3 | GPU | Výpočetní clustery a instance |
| NCasT4_v3 | GPU | Výpočetní clustery a instance |
| NDasrA100_v4 | GPU | Výpočetní clustery a instance |
I když azure Machine Učení podporuje tyto řady virtuálních počítačů, nemusí být dostupné ve všech oblastech Azure. Pokud chcete zkontrolovat, jestli jsou řady virtuálních počítačů dostupné, podívejte se na produkty dostupné v jednotlivých oblastech.
Poznámka:
Azure Machine Učení nepodporuje všechny velikosti virtuálních počítačů, které Azure Compute podporuje. Pokud chcete zobrazit seznam dostupných velikostí virtuálních počítačů, použijte následující metodu:
Poznámka:
Azure Machine Učení nepodporuje všechny velikosti virtuálních počítačů, které Azure Compute podporuje. Pokud chcete zobrazit seznam dostupných velikostí virtuálních počítačů, použijte jednu z následujících metod:
- REST API
- Rozšíření Azure CLI 2.0 pro příkaz strojového učení az ml compute list-sizes.
Pokud používáte cílové výpočetní objekty s podporou GPU, je důležité zajistit, aby byly v trénovacím prostředí nainstalované správné ovladače CUDA. Pomocí následující tabulky určete správnou verzi CUDA, která se má použít:
| Architektura GPU | Řada virtuálních počítačů Azure | Podporované verze CUDA |
|---|---|---|
| Ampere | NDA100_v4 | 11.0+ |
| Turing | NCT4_v3 | 10.0+ |
| Volta | NCv3, NDv2 | 9.0+ |
| Pascal | NCv2, ND | 9.0+ |
| Maxwell | NV, NVv3 | 9.0+ |
| Kepler | NC, NC Promo | 9.0+ |
Kromě zajištění kompatibility verze a hardwaru CUDA se také ujistěte, že je verze CUDA kompatibilní s verzí architektury strojového učení, kterou používáte:
- Pro PyTorch můžete zkontrolovat kompatibilitu na předchozí stránce Pytorch.
- V případě Tensorflowu můžete zkontrolovat kompatibilitu tak , že navštívíte build Tensorflow ze zdrojové stránky.
Izolace výpočetních prostředků
Azure Machine Učení Compute nabízí velikosti virtuálních počítačů, které jsou izolované na konkrétní typ hardwaru a vyhrazené pro jednoho zákazníka. Velikosti izolovaných virtuálních počítačů jsou nejvhodnější pro úlohy, které vyžadují vysokou míru izolace od úloh jiných zákazníků z důvodů, které zahrnují dodržování předpisů a zákonné požadavky. Použití izolované velikosti zaručuje, že váš virtuální počítač je jediný spuštěný na konkrétní instanci serveru.
Mezi aktuální nabídky izolovaných virtuálních počítačů patří:
- Standard_M128ms
- Standard_F72s_v2
- Standard_NC24s_v3
- Standard_NC24rs_v3 (s podporou RDMA)
Další informace o izolaci najdete v tématu Izolace ve veřejném cloudu Azure.
Nespravované výpočetní prostředky
Azure Machine Učení nespravuje nespravovaný cílový výpočetní objekt. Tento typ cílového výpočetního objektu vytvoříte mimo službu Azure Machine Learning a pak ho připojíte ke svému pracovnímu prostoru. Nespravované výpočetní prostředky můžou vyžadovat další kroky, které vám umožní udržovat nebo zlepšit výkon úloh strojového učení.
Azure Machine Learning podporuje následující typy nespravovaných výpočetních prostředků:
- Vzdálené virtuální počítače
- Azure HDInsight
- Azure Databricks
- Azure Data Lake Analytics
- Azure Kubernetes Service
- Fond Azure Synapse Spark (zastaralý)
Další informace najdete v tématu Správa výpočetních prostředků.