Quota en limieten voor resources beheren en verhogen met Azure Machine Learning
Azure maakt gebruik van quota en limieten om budgetoverschrijdingen te voorkomen vanwege fraude en om azure-capaciteitsbeperkingen te respecteren. Houd rekening met deze limieten wanneer u de schaal aanpast aan de vereisten die door productieworkloads worden gesteld. In dit artikel krijgt u meer informatie over:
- Standaardlimieten voor Azure-resources met betrekking tot Azure Machine Learning.
- Quota op werkruimteniveau maken.
- Uw quota en limieten weergeven.
- Quotumverhogingen aanvragen.
Naast het beheren van quota en limieten, kunt u leren hoe u kosten voor Azure Machine Learning kunt plannen en beheren of meer informatie over de servicelimieten in Azure Machine Learning.
Speciale overwegingen
Quota worden toegepast op elk abonnement in uw account. Als u meerdere abonnementen hebt, moet u een quotumverhoging aanvragen voor elk abonnement.
Een quotum is een tegoedlimiet voor Azure-resources, geen capaciteitsgarantie. Als u behoefte hebt aan grootschalige capaciteit, kunt u contact opnemen met Azure-ondersteuning om uw quotum te verhogen.
Een quotum wordt gedeeld door alle services in uw abonnementen, inclusief Azure Machine Learning. Bereken het gebruik voor alle services wanneer u capaciteit evalueert.
Notitie
Azure Machine Learning Compute is een uitzondering. Het quotum hiervoor is een ander dan het quotum voor het kernrekengeheugen.
De standaardlimieten variëren per type aanbiedingscategorie, zoals gratis proefversie, betalen per gebruik en vm-serie (zoals Dv2, F en G).
Standaardresourcequota en -limieten
In deze sectie leert u meer over de standaard- en maximumquota en limieten voor de volgende resources:
- Azure Machine Learning-assets
- Azure Machine Learning-berekeningen (inclusief serverloze Spark)
- Gedeeld quotum voor Azure Machine Learning
- Online-eindpunten van Azure Machine Learning (zowel beheerde als Kubernetes) en batch-eindpunten
- Azure Machine Learning-pijplijnen
- Azure Machine Learning-integratie met Synapse
- Virtuele machines
- Azure Container Instances
- Azure Storage
Belangrijk
Limieten kunnen worden gewijzigd. Zie Servicelimieten in Azure Machine Learning voor de meest recente informatie.
Azure Machine Learning-assets
De volgende limieten voor assets gelden per werkruimte .
| Resource | Maximumlimiet |
|---|---|
| Gegevenssets | 10 miljoen |
| Uitvoerbewerkingen | 10 miljoen |
| Modellen | 10 miljoen |
| Onderdeel | 10 miljoen |
| Artifacts | 10 miljoen |
Bovendien is de maximale uitvoeringstijd 30 dagen en het maximum aantal metrische gegevens dat per uitvoering wordt geregistreerd, is 1 miljoen.
Azure Machine Learning Compute
Azure Machine Learning Compute heeft een standaardquotumlimiet voor zowel het aantal kernen als het aantal unieke rekenresources dat per regio in een abonnement is toegestaan.
Notitie
- Het quotum voor het aantal kernen wordt gesplitst door elke VM-serie en cumulatieve totale kernen.
- Het quotum voor het aantal unieke rekenresources per regio is gescheiden van het VM-kernquotum, omdat dit alleen van toepassing is op de beheerde rekenresources van Azure Machine Learning.
Als u de limieten voor de volgende items wilt verhogen, vraagt u een quotumverhoging aan:
- Quota voor vm-kerngeheugens. Zie vm-grootten in Azure voor meer informatie over de VM-familie waarvoor u een quotumverhoging wilt aanvragen. Gpu-VM-families beginnen bijvoorbeeld met een 'N' in hun familienaam (zoals de NCv3-serie).
- Totaal quotum voor abonnementskernen
- Clusterquotum
- Andere resources in deze sectie
Beschikbare resources:
Toegewezen kernen per regio hebben een standaardlimiet van 24 tot 300, afhankelijk van het type abonnementsaanbieding. U kunt het aantal toegewezen kernen per abonnement voor elke VM-familie verhogen. Gespecialiseerde VM-families, zoals NCv2, NCv3 of ND-serie, beginnen met een standaardwaarde van nul kernen. GPU's zijn ook standaard ingesteld op nul kernen.
Kernen met lage prioriteit per regio hebben een standaardlimiet van 100 tot 3,000, afhankelijk van het type abonnementsaanbieding. Het aantal kernen met lage prioriteit per abonnement kan worden verhoogd en is één waarde voor alle VM-families.
De totale rekenlimiet per regio heeft een standaardlimiet van 500 per regio binnen een bepaald abonnement en kan worden verhoogd tot een maximumwaarde van 2500 per regio. Deze limiet wordt gedeeld tussen trainingsclusters, rekenprocessen en online beheerde implementaties van eindpunten. Een rekenproces wordt beschouwd als een cluster met één knooppunt voor quotumdoeleinden.
In de volgende tabel ziet u meer limieten in het platform. Neem contact op met het Azure Machine Learning-productteam via een ticket voor technische ondersteuning om een uitzondering aan te vragen.
| Resource of actie | Maximumlimiet |
|---|---|
| Werkruimten per resourcegroep | 800 |
| Knooppunten in één Azure Machine Learning-rekencluster (AmlCompute) dat is ingesteld als een pool met niet-communicatie (dat wil gezegd, kan geen MPI-taken uitvoeren) | 100 knooppunten, maar kan maximaal 65.000 knooppunten worden geconfigureerd |
| Knooppunten in één parallelle uitvoeringsstap worden uitgevoerd op een Azure Machine Learning-rekencluster (AmlCompute) | 100 knooppunten, maar configureerbaar tot 65.000 knooppunten als uw cluster is ingesteld op schaal zoals eerder vermeld |
| Knooppunten in één Azure Machine Learning-rekencluster (AmlCompute) ingesteld als een pool met communicatie | 300 knooppunten, maar kan maximaal 4.000 knooppunten worden geconfigureerd |
| Knooppunten in één Azure Machine Learning-rekencluster (AmlCompute) ingesteld als een pool met communicatie in een VM-serie met RDMA-functionaliteit | 100 knooppunten |
| Knooppunten in één MPI worden uitgevoerd op een Azure Machine Learning-rekencluster (AmlCompute) | 100 knooppunten |
| Levensduur van taken | 21 dagen1 |
| Levensduur van taken op een knooppunt met lage prioriteit | 7 dagen2 |
| Parameterservers per knooppunt | 1 |
1 Maximale levensduur is de duur tussen het moment waarop een taak wordt gestart en wanneer deze is voltooid. Voltooide taken blijven voor onbepaalde tijd behouden. Gegevens voor taken die niet binnen de maximale levensduur zijn voltooid, zijn niet toegankelijk.
2 Taken op een knooppunt met lage prioriteit kunnen worden verschoven wanneer er een capaciteitsbeperking is. U wordt aangeraden controlepunten in uw taak te implementeren.
Gedeeld quotum voor Azure Machine Learning
Azure Machine Learning biedt een groep gedeelde quota die beschikbaar is voor verschillende gebruikers in verschillende regio's die gelijktijdig kunnen worden gebruikt. Afhankelijk van de beschikbaarheid hebben gebruikers tijdelijk toegang tot het quotum van de gedeelde pool en kunnen ze het quotum gebruiken om gedurende een beperkte periode tests uit te voeren. De specifieke tijdsduur is afhankelijk van de use-case. Door tijdelijk quotum uit de quotumgroep te gebruiken, hoeft u geen ondersteuningsticket meer in te dienen voor een verhoging van het quotum op korte termijn of te wachten totdat uw quotumaanvraag is goedgekeurd voordat u verder kunt gaan met uw workload.
Het gebruik van de gedeelde quotumpool is beschikbaar voor het uitvoeren van Spark-taken en voor het testen van deductie voor Llama-2, Phi, Nemotron, Mistral, Dolly en DeciLM-modellen uit de modelcatalogus. U moet het gedeelde quotum alleen gebruiken voor het maken van tijdelijke testeindpunten, niet voor productie-eindpunten. Voor eindpunten in productie moet u toegewezen quota aanvragen door een ondersteuningsticket in te dienen. Facturering voor gedeeld quotum is gebaseerd op gebruik, net zoals facturering voor toegewezen virtuele-machinefamilies. Als u geen gedeeld quotum voor Spark-taken wilt gebruiken, vult u dit formulier in.
Online-eindpunten en batcheindpunten van Azure Machine Learning
Azure Machine Learning Online-eindpunten en batcheindpunten hebben resourcelimieten die worden beschreven in de volgende tabel.
Belangrijk
Deze limieten zijn regionaal, wat betekent dat u maximaal deze limieten kunt gebruiken per regio die u gebruikt. Als uw huidige limiet voor het aantal eindpunten per abonnement bijvoorbeeld 100 is, kunt u 100 eindpunten maken in de regio VS - oost, 100 eindpunten in de regio VS - west en 100 eindpunten in elk van de andere ondersteunde regio's in één abonnement. Hetzelfde principe is van toepassing op alle andere limieten.
Bekijk de metrische gegevens om het huidige gebruik voor een eindpunt te bepalen.
Als u een uitzondering van het Azure Machine Learning-productteam wilt aanvragen, gebruikt u de stappen in de limiet voor eindpunten.
| Resource | Limiet 1 | Uitzondering toestaan | Is van toepassing op |
|---|---|---|---|
| Naam Eeindpunt | Eindpuntnamen moeten |
- | Alle typen eindpunten 3 |
| Naam van implementatie | Implementatienamen moeten |
- | Alle typen eindpunten 3 |
| Aantal eindpunten per abonnement | 100 | Ja | Alle typen eindpunten 3 |
| Aantal eindpunten per cluster | 60 | - | Online-eindpunt van Kubernetes |
| Aantal implementaties per abonnement | 500 | Ja | Alle typen eindpunten 3 |
| Aantal implementaties per eindpunt | 20 | Ja | Alle typen eindpunten 3 |
| Aantal implementaties per cluster | 100 | - | Online-eindpunt van Kubernetes |
| Aantal exemplaren per implementatie | 50 4 | Ja | Beheerd online-eindpunt |
| Maximale time-out voor aanvragen op eindpuntniveau | 180 seconden | - | Beheerd online-eindpunt |
| Maximale time-out voor aanvragen op eindpuntniveau | 300 seconden | - | Online-eindpunt van Kubernetes |
| Totaal aantal aanvragen per seconde op eindpuntniveau voor alle implementaties | 500 5 | Ja | Beheerd online-eindpunt |
| Totaal aantal verbindingen per seconde op eindpuntniveau voor alle implementaties | 500 5 | Ja | Beheerd online-eindpunt |
| Totaal aantal verbindingen actief op eindpuntniveau voor alle implementaties | 500 5 | Ja | Beheerd online-eindpunt |
| Totale bandbreedte op eindpuntniveau voor alle implementaties | 5 MBPS 5 | Ja | Beheerd online-eindpunt |
1 Dit is een regionale limiet. Als de huidige limiet voor het aantal eindpunten bijvoorbeeld 100 is, kunt u 100 eindpunten maken in de regio VS - oost, 100 eindpunten in de regio VS - west en 100 eindpunten in elk van de andere ondersteunde regio's in één abonnement. Hetzelfde principe is van toepassing op alle andere limieten.
2 Enkele streepjes, zoals, my-endpoint-nameworden geaccepteerd in eindpunt- en implementatienamen.
Drie eindpunten en implementaties kunnen van verschillende typen zijn, maar limieten zijn van toepassing op de som van alle typen. Zo kan de som van beheerde online-eindpunten, Kubernetes Online-eindpunt en batcheindpunt onder elk abonnement niet meer dan 100 per regio bedragen. Op dezelfde manier kan de som van beheerde online-implementaties, Kubernetes online-implementaties en batchimplementaties onder elk abonnement niet meer dan 500 per regio bedragen.
4 We reserveren 20% extra rekenresources voor het uitvoeren van upgrades. Als u bijvoorbeeld 10 exemplaren in een implementatie aanvraagt, moet u een quotum voor 12 hebben. Anders krijgt u een foutmelding. Er zijn enkele VM-SKU's die zijn vrijgesteld van extra quota. Zie quotumtoewijzing voor virtuele machines voor meer informatie.
5 aanvragen per seconde, verbindingen, bandbreedte, enzovoort zijn gerelateerd. Als u een verhoging aanvraagt voor een van deze limieten, moet u ervoor zorgen dat u andere gerelateerde limieten samen kunt schatten/berekenen.
Azure Machine Learning-pijplijnen
Azure Machine Learning-pijplijnen hebben de volgende limieten .
| Resource | Limiet |
|---|---|
| Stappen in pijplijn | 30,000 |
| Werkruimten per resourcegroep | 800 |
Azure Machine Learning-taakplanningen
Azure Machine Learning-taakplanningen hebben de volgende limieten .
| Resource | Limiet |
|---|---|
| Schema's per regio | 100 |
Azure Machine Learning-integratie met Synapse
Serverloze Spark van Azure Machine Learning biedt eenvoudige toegang tot gedistribueerde computingmogelijkheden voor het schalen van Apache Spark-taken. Serverloze Spark maakt gebruik van hetzelfde toegewezen quotum als Azure Machine Learning Compute. Quotumlimieten kunnen worden verhoogd door een ondersteuningsticket in te dienen en een quotum- en limietverhoging aan te vragen voor de ESv3-serie onder de categorie Machine Learning Service: Quotum voor virtuele machines.
Als u het quotumgebruik wilt weergeven, gaat u naar Machine Learning Studio en selecteert u de abonnementsnaam waarvoor u het gebruik wilt zien. Selecteer Quotum in het linkerdeelvenster.
Virtuele machines
Elk Azure-abonnement heeft een limiet voor het aantal virtuele machines voor alle services. Kernen van virtuele machines hebben een regionale totale limiet en een regionale limiet per groottereeks. Beide limieten worden afzonderlijk afgedwongen.
Neem bijvoorbeeld een abonnement met een limiet van 30 VM-cores voor US - oost, een limiet van 30 cores voor de A-serie en een limiet van 30 cores voor de D-serie. Dit abonnement zou 30 A1-VM's of 30 D1-VM's mogen implementeren, of een combinatie van de twee die niet meer dan 30 kernen bevatten.
U kunt geen limieten voor virtuele machines verhogen boven de waarden die worden weergegeven in de volgende tabel.
| Bron | Limiet |
|---|---|
| Azure-abonnementen die zijn gekoppeld aan een Microsoft Entra-tenant | Onbeperkt |
| Medebeheerders per abonnement | Onbeperkt |
| Resourcegroepen per abonnement | 980 |
| Aanvraaggrootte voor Azure Resource Manager API | 4.194.304 bytes |
| Tags per abonnement1 | 50 |
| Unieke tagberekeningen per abonnement2 | 80,000 |
| Implementaties van abonnementsniveau per locatie | 8003 |
| Locaties van implementaties op abonnementsniveau | 10 |
1U kunt maximaal 50 tags rechtstreeks op een abonnement toepassen. Binnen het abonnement is elke resource of resourcegroep ook beperkt tot 50 tags. Het abonnement kan echter een onbeperkt aantal tags bevatten die verspreid zijn over resources en resourcegroepen.
2Resource Manager retourneert alleen een lijst met tagnaam en -waarden in het abonnement wanneer het aantal unieke tags 80.000 of minder is. Een unieke tag wordt gedefinieerd door de combinatie van resource-id, tagnaam en tagwaarde. Twee resources met dezelfde tagnaam en -waarde worden bijvoorbeeld berekend als twee unieke tags. U kunt nog steeds een resource vinden per tag wanneer het aantal groter is dan 80.000.
3Implementaties worden automatisch verwijderd uit de geschiedenis wanneer u de limiet nadert. Raadpleeg Automatic deletions from deployment history (Automatische verwijderingen uit de implementatiegeschiedenis) voor meer informatie.
Container Instances
Zie Container Instances-limieten voor meer informatie.
Storage
Azure Storage heeft een limiet van 250 opslagaccounts per regio, per abonnement. Deze limiet omvat zowel Standard- als Premium-opslagaccounts.
Quota op werkruimteniveau
Gebruik quota op werkruimteniveau om Azure Machine Learning-rekendoeltoewijzing tussen meerdere werkruimten in hetzelfde abonnement te beheren.
Standaard delen alle werkruimten hetzelfde quotum als het quotum op abonnementsniveau voor VM-families. U kunt echter in werkruimten in een abonnement een maximumquotum instellen voor afzonderlijke VM-families. Met quota voor afzonderlijke VM-families kunt u capaciteit delen en problemen met resourceconflicten voorkomen.
- Ga naar een willekeurige werkruimte in uw abonnement.
- Selecteer in het linkerdeelvenster de optie Gebruik + quota.
- Selecteer het tabblad Quota configureren om de quota te bekijken.
- Vouw een VM-familie uit.
- Stel een quotumlimiet in voor elke werkruimte die wordt vermeld onder die VM-familie.
U kunt geen negatieve waarde instellen of een waarde hoger dan het quotum op abonnementsniveau.
Notitie
U hebt machtigingen op abonnementsniveau nodig om een quotum in te stellen op werkruimteniveau.
Quota weergeven in de studio
Wanneer u een nieuwe rekenresource maakt, ziet u standaard alleen VM-grootten die u al wilt gebruiken. Zet de weergave op Selecteren uit alle opties.
Schuif omlaag totdat u de lijst met VM-grootten ziet waarvoor u geen quotum hebt.
Gebruik de koppeling om rechtstreeks naar de online klantenondersteuningsaanvraag voor meer quota te gaan.
Uw gebruik en quota weergeven in Azure Portal
Als u uw quotum wilt weergeven voor verschillende Azure-resources, zoals virtuele machines, opslag of netwerk, gebruikt u Azure Portal:
Selecteer in het linkerdeelvenster Alle services en selecteer vervolgens Abonnementen onder de categorie Algemeen .
Selecteer in de lijst met abonnementen het abonnement waarvan u het quotum zoekt.
Selecteer Gebruik en quota om uw huidige quotumlimieten en gebruik weer te geven. Gebruik de filters om de provider en locaties te selecteren.
U beheert het Azure Machine Learning-rekenquotum voor uw abonnement afzonderlijk van andere Azure-quota:
Ga naar uw Azure Machine Learning-werkruimte in Azure Portal.
Selecteer in het linkerdeelvenster in de sectie Ondersteuning en probleemoplossing gebruik + quota om uw huidige quotumlimieten en gebruik weer te geven.
Selecteer een abonnement om de quotumlimieten weer te geven. Filter op de regio waarin u geïnteresseerd bent.
U kunt schakelen tussen een weergave op abonnementsniveau en een weergave op werkruimteniveau.
Quotum- en limietverhogingen aanvragen
Verhoging van VM-quotum is om het aantal kernen per VM-serie per regio te verhogen. Verhoging van eindpuntlimieten is het verhogen van de eindpuntspecifieke limieten per abonnement per regio. Zorg ervoor dat u de juiste categorie kiest wanneer u de aanvraag voor quotumverhoging indient, zoals beschreven in de volgende sectie.
Verhogingen van VM-quotum
Als u de limiet wilt verhogen voor het quotum voor Azure Machine Learning-VM's boven de standaardlimiet, kunt u een quotumverhoging aanvragen vanuit de bovenstaande weergave Gebruik en quota of een aanvraag voor quotumverhoging indienen vanuit Azure Machine Learning-studio.
- Navigeer naar de pagina Gebruik en quotum door de bovenstaande instructies te volgen. Bekijk de huidige quotumlimieten. Selecteer de SKU waarvoor u een verhoging wilt aanvragen.
- Geef het quotum op dat u wilt verhogen en de nieuwe limietwaarde. Selecteer tot slot Verzenden om door te gaan.
Eindpuntlimiet verhoogt
Als u de eindpuntlimiet wilt verhogen, opent u een onlineaanvraag voor klantenondersteuning. Wanneer u een verhoging van de eindpuntlimiet aanvraagt, geeft u de volgende informatie op:
- Wanneer u de ondersteuningsaanvraag opent, selecteert u Service- en abonnementslimieten (quota) als het type Probleem.
- Selecteer het abonnement van uw keuze.
- Selecteer Machine Learning Service: Eindpuntlimieten als het quotumtype.
- Op het tabblad Aanvullende details moet u gedetailleerde redenen opgeven voor de verhoging van de limiet om uw aanvraag te kunnen verwerken. Selecteer Details invoeren en geef vervolgens de limiet op die u wilt verhogen en de nieuwe waarde voor elke limiet, de reden voor het verzoek om limietverhoging en de locatie(s) waar u de limietverhoging nodig hebt.
Zorg ervoor dat u de volgende informatie toevoegt aan de reden voor het verhogen van de limiet:
- Beschrijving van uw scenario en workload (zoals tekst, afbeelding, enzovoort).
- Overwegingen voor de aangevraagde verhoging.
- Geef de doeldoorvoer en het patroon ervan op (gemiddelde/piek QPS, gelijktijdige gebruikers).
- Geef de doellatentie op schaal op en de huidige latentie die u met één exemplaar ziet.
- Geef op welke VM-SKU en het totale aantal exemplaren de doeldoorvoer en latentie ondersteunen. Geef op hoeveel eindpunten/implementaties/exemplaren u in elke regio wilt gebruiken.
- Controleer of u een benchmarktest hebt die aangeeft dat de geselecteerde VM-SKU en het aantal exemplaren aan uw doorvoer- en latentievereiste voldoen.
- Geef het type van de payload en de grootte van één payload op. De netwerkbandbreedte moet overeenkomen met de nettoladinggrootte en aanvragen per seconde.
- Geef een gepland tijdsplan (tegen wanneer u verhoogde limieten nodig hebt - geef indien mogelijk een gefaseerd plan) en bevestig of (1) de kosten om het op die schaal uit te voeren worden weerspiegeld in uw budget en (2) de VM SKU's zijn goedgekeurd.
- Selecteer ten slotte Opslaan en doorgaan om door te gaan.
Notitie
Deze aanvraag voor het verhogen van eindpuntlimieten verschilt van de aanvraag voor het verhogen van VM-quotums. Als uw aanvraag betrekking heeft op een verhoging van het VM-quotum, volgt u de instructies in de sectie VM-quotumverhogingen.
Verhoging van de rekenlimiet
Als u de totale rekenlimiet wilt verhogen, opent u een onlineaanvraag voor klantenondersteuning. Geef de volgende informatie op:
Wanneer u de ondersteuningsaanvraag opent, selecteert u Technisch als het type probleem.
Selecteer het abonnement van uw keuze
Selecteer Machine Learning als de Service.
Selecteer de resource van uw keuze
Vermeld in de samenvatting 'Verhoog de totale rekenlimieten'
Selecteer Rekencluster als het probleemtype en het cluster wordt niet omhoog geschaald of blijft hangen bij het wijzigen van de grootte als het subtype Probleem.
Geef op het tabblad Aanvullende details de abonnements-id, regio, nieuwe limiet (tussen 500 en 2500) en zakelijke reden op als u de totale rekenlimieten in deze regio wilt verhogen.
Selecteer tot slot Maken om een ticket voor een ondersteuningsaanvraag te maken.