Vad är beräkningsmål i Azure Machine Learning?
Ett beräkningsmål är en utsedd beräkningsresurs eller miljö där du kör träningsskriptet eller är värd för tjänstdistributionen. Den här platsen kan vara din lokala dator eller en molnbaserad beräkningsresurs. Med hjälp av beräkningsmål är det enkelt för dig att senare ändra beräkningsmiljön utan att behöva ändra koden.
I en typisk modellutvecklingslivscykel kan du:
- Börja med att utveckla och experimentera med en liten mängd data. I det här skedet använder du din lokala miljö, till exempel en lokal dator eller en molnbaserad virtuell dator (VM), som beräkningsmål.
- Skala upp till större data eller utför distribuerad träning med något av dessa träningsberäkningsmål.
- När din modell är klar distribuerar du den till en webbvärdmiljö med något av dessa distributionsberäkningsmål.
De beräkningsresurser som du använder för dina beräkningsmål är kopplade till en arbetsyta. Andra beräkningsresurser än den lokala datorn delas av arbetsytans användare.
Träningsberäkningsmål
Azure Machine Learning har olika stöd för olika beräkningsmål. En typisk modellutvecklingslivscykel börjar med utveckling eller experimentering på en liten mängd data. I det här skedet använder du en lokal miljö som din lokala dator eller en molnbaserad virtuell dator. När du skalar upp träningen för större datamängder eller utför distribuerad träning använder du Azure Machine Learning-beräkning för att skapa ett kluster med en eller flera noder som skalar automatiskt varje gång du skickar ett jobb. Du kan också koppla en egen beräkningsresurs, men stödet för olika scenarier kan variera.
Beräkningsmål kan återanvändas från ett träningsjobb till nästa. När du till exempel har bifogat en fjärransluten virtuell dator till din arbetsyta kan du återanvända den för flera jobb. För maskininlärningspipelines använder du lämpligt pipelinesteg för varje beräkningsmål.
Du kan använda någon av följande resurser för ett träningsberäkningsmål för de flesta jobb. Alla resurser kan inte användas för automatiserad maskininlärning, maskininlärningspipelines eller designer. Azure Databricks kan användas som en träningsresurs för lokala körningar och maskininlärningspipelines, men inte som fjärrmål för annan träning.
| Träningsmål | Automatiserad maskininlärning | Pipelines för maskininlärning | Azure Machine Learning Designer |
|---|---|---|---|
| Lokal dator | Yes | ||
| Azure Machine Learning-beräkningskluster | Ja | Ja | Ja |
| Azure Machine Learning-beräkningsinstans | Ja (via SDK) | Ja | Ja |
| Azure Machine Learning Kubernetes | Ja | Ja | Ja |
| Fjärr-VM | Ja | Ja | |
| Apache Spark-pooler (förhandsversion) | Ja (endast lokalt SDK-läge) | Yes | |
| Azure Databricks | Ja (endast lokalt SDK-läge) | Yes | |
| Azure Data Lake Analytics | Yes | ||
| Azure HDInsight | Yes | ||
| Azure Batch | Yes |
Tips
Beräkningsinstansen har en OS-disk på 120 GB. Om diskutrymmet tar slut använder du terminalen för att rensa minst 1–2 GB innan du stoppar eller startar om beräkningsinstansen.
Beräkningsmål för slutsatsdragning
När du utför slutsatsdragning skapar Azure Machine Learning en Docker-container som är värd för modellen och associerade resurser som behövs för att använda den. Den här containern används sedan i ett beräkningsmål.
Beräkningsmålet som du använder som värd för din modell påverkar kostnaden och tillgängligheten för den distribuerade slutpunkten. Använd den här tabellen för att välja ett lämpligt beräkningsmål.
| Beräkningsmål | Används för | GPU-stöd | Beskrivning |
|---|---|---|---|
| Lokal webbtjänst | Testa/felsöka | Använd för begränsad testning och felsökning. Maskinvaruacceleration beror på användningen av bibliotek i det lokala systemet. | |
| Azure Machine Learning-slutpunkter | Slutsatsdragning i realtid Batch-slutsatsdragning |
Yes | Fullständigt hanterade beräkningar för realtid (hanterade onlineslutpunkter) och batchbedömning (batchslutpunkter) på serverlös beräkning. |
| Azure Machine Learning Kubernetes | Slutsatsdragning i realtid Batch-slutsatsdragning |
Yes | Kör slutsatsdragning av arbetsbelastningar på lokala Kubernetes-kluster, i molnet och på gränsenheter. |
| Azure Container Instances (endast SDK/CLI v1) | Slutsatsdragning i realtid Rekommenderas endast i utvecklings-/testsyfte. |
Används för lågskalig CPU-baserade arbetsbelastningar som kräver mindre än 48 GB RAM-minne. Kräver inte att du hanterar ett kluster. Stöds i designern. |
Anteckning
När du väljer en kluster-SKU skalar du först upp och sedan ut. Börja med en dator som har 150 % av det RAM-minne som din modell kräver, profilera resultatet och hitta en dator som har den prestanda du behöver. När du har lärt dig det ökar du antalet datorer så att de passar ditt behov av samtidig slutsatsdragning.
Anteckning
Containerinstanser kräver SDK eller CLI v1 och är endast lämpliga för små modeller som är mindre än 1 GB.
Lär dig var och hur du distribuerar din modell till ett beräkningsmål.
Azure Machine Learning-beräkning (hanterad)
En hanterad beräkningsresurs skapas och hanteras av Azure Machine Learning. Den här beräkningen är optimerad för maskininlärningsarbetsbelastningar. Azure Machine Learning-beräkningskluster och beräkningsinstanser är de enda hanterade beräkningen.
Du kan skapa Azure Machine Learning-beräkningsinstanser eller beräkningskluster från:
- Azure Machine Learning-studio.
- Python SDK och Azure CLI:
- En Azure Resource Manager-mall. En exempelmall finns i Skapa ett Azure Machine Learning-beräkningskluster.
När de här beräkningsresurserna skapas ingår de automatiskt i din arbetsyta, till skillnad från andra typer av beräkningsmål.
| Funktion | Beräkningskluster | Beräkninsinstans |
|---|---|---|
| Kluster med en eller flera noder | ✓ | Kluster med en nod |
| Autoskalning varje gång du skickar ett jobb | ✓ | |
| Automatisk klusterhantering och jobbschemaläggning | ✓ | ✓ |
| Stöd för både CPU- och GPU-resurser | ✓ | ✓ |
Anteckning
Så här undviker du avgifter när beräkningen är inaktiv:
- För beräkningskluster kontrollerar du att det minsta antalet noder är inställt på 0.
- Aktivera inaktiv avstängning för en beräkningsinstans.
VM-serier och storlekar som stöds
Anteckning
Serien virtuella datorer i H-serien dras tillbaka den 31 augusti 2022. Skapa beräkningsinstanser och beräkningskluster med alternativa VM-storlekar. Befintliga beräkningsinstanser och kluster med virtuella datorer i H-serien fungerar inte efter den 31 augusti 2022.
När du väljer en nodstorlek för en hanterad beräkningsresurs i Azure Machine Learning kan du välja bland de vm-storlekar som är tillgängliga i Azure. Azure erbjuder olika storlekar för Linux och Windows för olika arbetsbelastningar. Mer information finns i VM-typer och storlekar.
Det finns några undantag och begränsningar för att välja en VM-storlek:
- Vissa VM-serier stöds inte i Azure Machine Learning.
- Det finns vissa VM-serier, till exempel GPU:er och andra särskilda SKU:er, som kanske inte visas i listan över tillgängliga virtuella datorer. Men du kan fortfarande använda dem när du begär en kvotändring. Mer information om hur du begär kvoter finns i Begärandekvotökningar. Mer information om serier som stöds finns i följande tabell.
| VM-serie som stöds | Kategori | Stöds av |
|---|---|---|
| DDSv4 | Generellt syfte | Beräkningskluster och instanser |
| Dv2 | Generellt syfte | Beräkningskluster och instanser |
| Dv3 | Generellt syfte | Beräkningskluster och instanser |
| DSv2 | Generellt syfte | Beräkningskluster och instanser |
| DSv3 | Generellt syfte | Beräkningskluster och instanser |
| EAv4 | Minnesoptimerad | Beräkningskluster och instanser |
| Ev3 | Minnesoptimerad | Beräkningskluster och instanser |
| ESv3 | Minnesoptimerad | Beräkningskluster och instanser |
| FSv2 | Beräkningsoptimerad | Beräkningskluster och instanser |
| FX | Beräkningsoptimerad | Beräkningskluster |
| H | Databehandling med höga prestanda | Beräkningskluster och instanser |
| HB | Databehandling med höga prestanda | Beräkningskluster och instanser |
| HBv2 | Databehandling med höga prestanda | Beräkningskluster och instanser |
| HBv3 | Databehandling med höga prestanda | Beräkningskluster och instanser |
| HC | Databehandling med höga prestanda | Beräkningskluster och instanser |
| LSv2 | Lagringsoptimerad | Beräkningskluster och instanser |
| M | Minnesoptimerad | Beräkningskluster och instanser |
| NC | GPU | Beräkningskluster och instanser |
| NC-kampanj | GPU | Beräkningskluster och instanser |
| NCv2 | GPU | Beräkningskluster och instanser |
| NCv3 | GPU | Beräkningskluster och instanser |
| ND | GPU | Beräkningskluster och instanser |
| NDv2 | GPU | Beräkningskluster och instanser |
| NV | GPU | Beräkningskluster och instanser |
| NVv3 | GPU | Beräkningskluster och instanser |
| NCasT4_v3 | GPU | Beräkningskluster och instanser |
| NDasrA100_v4 | GPU | Beräkningskluster och instanser |
Även om Azure Machine Learning stöder dessa VM-serier kanske de inte är tillgängliga i alla Azure-regioner. Information om huruvida VM-serien är tillgänglig finns i Produkter tillgängliga per region.
Anteckning
Azure Machine Learning stöder inte alla VM-storlekar som Azure Compute stöder. Om du vill visa en lista över tillgängliga VM-storlekar använder du någon av följande metoder:
Om du använder GPU-aktiverade beräkningsmål är det viktigt att se till att rätt CUDA-drivrutiner installeras i träningsmiljön. Använd följande tabell för att fastställa rätt CUDA-version som ska användas:
| GPU-arkitektur | Azure VM Series | CUDA-versioner som stöds |
|---|---|---|
| Ampere | NDA100_v4 | 11.0+ |
| Turing | NCT4_v3 | 10.0 + |
| Volta | NCv3, NDv2 | 9.0+ |
| Pascal | NCv2, ND | 9.0+ |
| Maxwell | NV, NVv3 | 9.0+ |
| Kepler | NC, NC-kampanj | 9.0+ |
Förutom att se till att CUDA-versionen och maskinvaran är kompatibla kontrollerar du också att CUDA-versionen är kompatibel med den version av maskininlärningsramverket som du använder:
- För PyTorch kan du kontrollera kompatibiliteten genom att besöka Pytorchs tidigare versionssida.
- För Tensorflow kan du kontrollera kompatibiliteten genom att gå till Tensorflows version från källsidan.
Beräkningsisolering
Azure Machine Learning-beräkning erbjuder VM-storlekar som är isolerade till en viss maskinvarutyp och dedikerade till en enda kund. Storlekar på isolerade virtuella datorer passar bäst för arbetsbelastningar som kräver en hög grad av isolering från andra kunders arbetsbelastningar av orsaker som omfattar uppfyllande av efterlevnads- och regelkrav. Att använda en isolerad storlek garanterar att den virtuella datorn är den enda som körs på den specifika serverinstansen.
De aktuella erbjudandena för isolerade virtuella datorer är:
- Standard_M128ms
- Standard_F72s_v2
- Standard_NC24s_v3
- Standard_NC24rs_v3*
*RDMA-stöd
Mer information om isolering finns i Isolering i det offentliga Azure-molnet.
Ohanterad beräkning
Ett ohanterat beräkningsmål hanteras inte av Azure Machine Learning. Du skapar den här typen av beräkningsmål utanför Azure Machine Learning och kopplar det sedan till din arbetsyta. Ohanterade beräkningsresurser kan kräva ytterligare steg för att underhålla eller förbättra prestanda för maskininlärningsarbetsbelastningar.
Azure Machine Learning stöder följande ohanterade beräkningstyper:
Fjärranslutna virtuella datorer
Azure HDInsight
Azure Databricks
Azure Data Lake Analytics
Azure Synapse Spark-pool (förhandsversion)
Tips
För närvarande kräver detta Azure Machine Learning SDK v1.
Mer information finns i Hantera beräkningsresurser.
Nästa steg
Lär dig att: