Dela via


Hantera och öka kvoter och gränser för resurser med Azure Machine Learning

Azure använder kvoter och gränser för att förhindra budgetöverskridanden på grund av bedrägerier och för att uppfylla Begränsningar för Azure-kapacitet. Överväg dessa begränsningar när du skalar för produktionsarbetsbelastningar. I den här artikeln lär du dig mer om:

  • Standardgränser för Azure-resurser som är relaterade till Azure Machine Learning.
  • Skapa kvoter på arbetsytenivå.
  • Visa dina kvoter och gränser.
  • Begär kvotökningar.

Tillsammans med att hantera kvoter och gränser kan du lära dig hur du planerar och hanterar kostnader för Azure Machine Learning eller lär dig mer om tjänstgränserna i Azure Machine Learning.

Särskilda beaktanden

  • Kvoter tillämpas på varje prenumeration i ditt konto. Om du har flera prenumerationer måste du begära en kvotökning för varje prenumeration.

  • En kvot är en kreditgräns för Azure-resurser, inte en kapacitetsgaranti. Om du behöver mycket kapacitet kan du kontakta Azure-supporten för att öka kvoten.

  • Kvoten delas mellan alla tjänster i dina prenumerationer, inklusive Azure Machine Learning. Beräkna användningen för alla tjänster när du utvärderar kapacitet.

    Kommentar

    Azure Machine Learning-beräkning är ett undantag. Den har en kvot som är separat från kärnkvoten för beräkning.

  • Standardgränserna varierar beroende på typ av erbjudandekategori, till exempel kostnadsfri utvärderingsversion, serie med betala per användning och virtuell dator (VM) (till exempel Dv2, F och G).

Standardresurskvoter och -gränser

I det här avsnittet får du lära dig mer om standardkvoter och högsta kvoter och gränser för följande resurser:

  • Azure Machine Learning-tillgångar
  • Azure Machine Learning-beräkningar (inklusive serverlös Spark)
  • Delad kvot för Azure Machine Learning
  • Azure Machine Learning-slutpunkter online (både hanterade och Kubernetes) och batchslutpunkter
  • Azure Machine Learning-pipelines
  • Azure Machine Learning-integrering med Synapse
  • Virtuella datorer
  • Azure Container Instances
  • Azure Storage

Viktigt!

Gränser kan komma att ändras. Den senaste informationen finns i Tjänstbegränsningar i Azure Machine Learning.

Azure Machine Learning-tillgångar

Följande begränsningar för tillgångar gäller per arbetsyta .

Resurs Övre gräns
Datauppsättningar 10 miljoner
Körningar 10 miljoner
Modeller 10 miljoner
Komponent 10 miljoner
Artifacts 10 miljoner

Dessutom är den maximala körningstiden 30 dagar och det maximala antalet mått som loggas per körning är 1 miljon.

Azure Machine Learning-beräkning

Azure Machine Learning Compute har en standardkvotgräns för både antalet kärnor och antalet unika beräkningsresurser som tillåts per region i en prenumeration.

Kommentar

  • Kvoten för antalet kärnor delas upp av varje VM-familj och kumulativa totala kärnor.
  • Kvoten för antalet unika beräkningsresurser per region är separat från den virtuella datorns kärnkvot, eftersom den endast gäller för de hanterade beräkningsresurserna i Azure Machine Learning.

Om du vill höja gränserna för följande objekt begär du en kvotökning:

  • Kärnkvoter för vm-familjen. Mer information om vilken VM-familj du vill begära en kvotökning för finns i storlekar för virtuella datorer i Azure. Till exempel börjar GPU VM-familjer med ett "N" i sitt familjenamn (till exempel NCv3-serien).
  • Totalt antal kärnkvoter för prenumeration
  • Klusterkvot
  • Andra resurser i det här avsnittet

Tillgängliga resurser:

  • Dedikerade kärnor per region har en standardgräns på 24 till 300, beroende på vilken typ av prenumerationserbjudande du har. Du kan öka antalet dedikerade kärnor per prenumeration för varje VM-familj. Specialiserade VM-familjer som NCv2, NCv3 eller ND-serien börjar med ett standardvärde på noll kärnor. Även GPU:er har som standard noll kärnor.

  • Lågprioritetskärnor per region har en standardgräns på 100 till 3 000, beroende på vilken typ av prenumerationserbjudande du har. Antalet lågprioritetskärnor per prenumeration kan ökas och är ett enskilt värde för VM-familjer.

  • Den totala beräkningsgränsen per region har en standardgräns på 500 per region inom en viss prenumeration och kan ökas till ett maximalt värde på 2 500 per region. Den här gränsen delas mellan träningskluster, beräkningsinstanser och hanterade online-slutpunktsdistributioner. En beräkningsinstans anses vara ett kluster med en nod i kvotsyfte.

I följande tabell visas fler gränser på plattformen. Kontakta Produktteamet för Azure Machine Learning via en teknisk supportbegäran för att begära ett undantag.

Resurs eller åtgärd Övre gräns
Arbetsytor per resursgrupp 800
Noder i ett enda Azure Machine Learning-beräkningskluster (AmlCompute) som konfigurerats som en icke-kommunikationsaktiverad pool (det vill: kan inte köra MPI-jobb) 100 noder men kan konfigureras upp till 65 000 noder
Noder i ett enda parallellt körningssteg körs på ett Azure Machine Learning-beräkningskluster (AmlCompute) 100 noder men kan konfigureras upp till 65 000 noder om klustret har konfigurerats för skalning som nämnts tidigare
Noder i ett enda Azure Machine Learning-beräkningskluster (AmlCompute) som konfigurerats som en kommunikationsaktiverad pool 300 noder men kan konfigureras upp till 4 000 noder
Noder i ett enda Azure Machine Learning-beräkningskluster (AmlCompute) som konfigurerats som en kommunikationsaktiverad pool i en RDMA-aktiverad VM-familj 100 noder
Noder i en enda MPI-körning i ett Azure Machine Learning-beräkningskluster (AmlCompute) 100 noder
Jobblivslängd 21 dagar1
Jobblivslängd på en nod med låg prioritet 7 dagar2
Parameterservrar per nod 1

1 Maximal livslängd är varaktigheten mellan när ett jobb startar och när det har slutförts. Slutförda jobb behålls på obestämd tid. Data för jobb som inte har slutförts inom den maximala livslängden är inte tillgängliga.

2 Jobb på en nod med låg prioritet kan föregripas när det finns en kapacitetsbegränsning. Vi rekommenderar att du implementerar kontrollpunkter i ditt jobb.

Delad kvot för Azure Machine Learning

Azure Machine Learning tillhandahåller en delad kvotpool från vilken användare i olika regioner kan komma åt kvoten för att utföra testning under en begränsad tid, beroende på tillgänglighet. Den specifika tidsperioden beror på användningsfallet. Genom att tillfälligt använda kvoten från kvotpoolen behöver du inte längre skicka in ett supportärende för en kortsiktig kvotökning eller vänta tills din kvotbegäran har godkänts innan du kan fortsätta med din arbetsbelastning.

Användning av den delade kvotpoolen är tillgänglig för att köra Spark-jobb och för testning av slutsatsdragning för Llama-2-, Phi-, Nemotron-, Mistral-, Dolly- och Deci-DeciLM-modeller från modellkatalogen under en kort tid. Innan du kan distribuera dessa modeller via den delade kvoten måste du ha en företagsavtal prenumeration. Mer information om hur du använder den delade kvoten för distribution av onlineslutpunkter finns i Distribuera grundmodeller med hjälp av studion.

Du bör endast använda den delade kvoten för att skapa tillfälliga testslutpunkter, inte produktionsslutpunkter. För slutpunkter i produktion bör du begära dedikerad kvot genom att skicka in ett supportärende. Fakturering för delad kvot är användningsbaserad, precis som fakturering för dedikerade virtuella datorfamiljer. Om du vill välja bort delad kvot för Spark-jobb fyller du i avanmälningsformuläret för delad kapacitet i Azure Machine Learning.

Azure Machine Learning-slutpunkter och batchslutpunkter online

Azure Machine Learning-slutpunkter och batchslutpunkter har resursgränser som beskrivs i följande tabell.

Viktigt!

Dessa gränser är regionala, vilket innebär att du kan använda upp till dessa gränser per region som du använder. Om din aktuella gräns för antalet slutpunkter per prenumeration till exempel är 100 kan du skapa 100 slutpunkter i regionen USA, östra, 100 slutpunkter i regionen USA, västra och 100 slutpunkter i var och en av de andra regioner som stöds i en enda prenumeration. Samma princip gäller för alla andra gränser.

Om du vill fastställa den aktuella användningen för en slutpunkt kan du visa måtten.

Om du vill begära ett undantag från Azure Machine Learning-produktteamet använder du stegen i ökningarna av slutpunktsgränsen.

Resurs   Gräns 1                                                 Tillåter undantag Gäller för
Slutpunktnamn Slutpunktsnamn måste
  • Börja med en bokstav
  • Vara 3–32 tecken långt
  • Består endast av bokstäver och siffror 2
  • För Kubernetes-slutpunkten måste slutpunktsnamnet plus distributionsnamnet vara 6–62 tecken i total längd
  • - Alla typer av slutpunkter 3
    Distributionsnamnet Distributionsnamn måste
  • Börja med en bokstav
  • Vara 3–32 tecken långt
  • Består endast av bokstäver och siffror 2
  • För Kubernetes-slutpunkten måste slutpunktsnamnet plus distributionsnamnet vara 6–62 tecken i total längd
  • - Alla typer av slutpunkter 3
    Antal slutpunkter per prenumeration 100 Ja Alla typer av slutpunkter 3
    Antal slutpunkter per kluster 60 - Kubernetes onlineslutpunkt
    Antal distributioner per prenumeration 500 Ja Alla typer av slutpunkter 3
    Antal distributioner per slutpunkt 20 Ja Alla typer av slutpunkter 3
    Antal distributioner per kluster 100 - Kubernetes onlineslutpunkt
    Antal instanser per distribution 50 4 Ja Hanterad onlineslutpunkt
    Maximal tidsgräns för begäranden på slutpunktsnivå 180 sekunder - Hanterad onlineslutpunkt
    Maximal tidsgräns för begäranden på slutpunktsnivå 300 sekunder - Kubernetes onlineslutpunkt
    Totalt antal begäranden per sekund på slutpunktsnivå för alla distributioner 500 5 Ja Hanterad onlineslutpunkt
    Totalt antal anslutningar per sekund på slutpunktsnivå för alla distributioner 500 5 Ja Hanterad onlineslutpunkt
    Totalt antal anslutningar aktiva på slutpunktsnivå för alla distributioner 500 5 Ja Hanterad onlineslutpunkt
    Total bandbredd på slutpunktsnivå för alla distributioner 5 MBPS 5 Ja Hanterad onlineslutpunkt

    1 Detta är en regional gräns. Om den aktuella gränsen för antalet slutpunkter till exempel är 100 kan du skapa 100 slutpunkter i regionen USA, östra, 100 slutpunkter i regionen USA, västra och 100 slutpunkter i var och en av de andra regioner som stöds i en enda prenumeration. Samma princip gäller för alla andra gränser.

    2 Enkla bindestreck som , my-endpoint-nameaccepteras i slutpunkts- och distributionsnamn.

    3 slutpunkter och distributioner kan vara av olika typer, men gränser gäller för summan av alla typer. Till exempel får summan av hanterade onlineslutpunkter, Kubernetes onlineslutpunkt och batchslutpunkt under varje prenumeration inte överstiga 100 per region som standard. På samma sätt kan summan av hanterade onlinedistributioner, Kubernetes onlinedistributioner och batchdistributioner under varje prenumeration inte överstiga 500 per region som standard.

    4 Vi reserverar 20 % extra beräkningsresurser för att utföra uppgraderingar. Om du till exempel begär 10 instanser i en distribution måste du ha en kvot på 12. Annars får du ett fel. Det finns vissa VM-SKU:er som är undantagna från extra kvot. Mer information om kvotallokering finns i kvotallokering för virtuella datorer för distribution.

    5 begäranden per sekund, anslutningar, bandbredd osv. är relaterade. Om du begär att öka någon av dessa gränser ska du se till att du beräknar/beräknar andra relaterade gränser tillsammans.

    Kvotallokering för virtuell dator för distribution

    För hanterade onlineslutpunkter reserverar Azure Machine Learning 20 % av dina beräkningsresurser för att utföra uppgraderingar på vissa VM-SKU:er. Om du begär ett visst antal instanser för de virtuella dator-SKU:erna i en distribution måste du ha en kvot för tillgänglig för ceil(1.2 * number of instances requested for deployment) * number of cores for the VM SKU att undvika ett fel. Om du till exempel begär 10 instanser av en Standard_DS3_v2 virtuell dator (som levereras med fyra kärnor) i en distribution bör du ha en kvot för 48 kärnor (12 instances * 4 cores) tillgänglig. Den här extra kvoten är reserverad för systeminitierade åtgärder, till exempel OS-uppgraderingar och återställning av virtuella datorer, och den medför inte kostnader om inte sådana åtgärder körs.

    Det finns vissa VM-SKU:er som är undantagna från extra kvotreservation. Om du vill visa den fullständiga listan kan du läsa SKU-listan hanterade onlineslutpunkter. Information om hur du visar ökningar av användnings- och begärandekvoter finns i Visa din användning och dina kvoter i Azure Portal. Information om hur du visar kostnaden för att köra en hanterad onlineslutpunkt finns i Visa kostnader för en hanterad onlineslutpunkt.

    Azure Machine Learning-pipelines

    Azure Machine Learning-pipelines har följande gränser.

    Resurs Gräns
    Steg i en pipeline 30,000
    Arbetsytor per resursgrupp 800

    Azure Machine Learning-integrering med Synapse

    Azure Machine Learning serverlös Spark ger enkel åtkomst till distribuerad databehandlingsfunktion för skalning av Apache Spark-jobb. Serverlös Spark använder samma dedikerade kvot som Azure Machine Learning Compute. Kvotgränser kan ökas genom att skicka ett supportärende och begära kvot- och gränsökning för ESv3-serien under kategorin "Machine Learning Service: Virtual Machine Quota".

    Om du vill visa kvotanvändningen går du till Machine Learning Studio och väljer det prenumerationsnamn som du vill se användning för. Välj "Kvot" i den vänstra panelen.

    Skärmbild av Azure Machine Learning-kvoterna.

    Virtuella datorer

    Varje Azure-prenumeration har en gräns för antalet virtuella datorer i alla tjänster. Virtuella datorkärnor har en regional total gräns och en regional gräns per storleksserie. Båda gränserna tillämpas separat.

    Anta till exempel att en prenumeration i regionen USA, östra har en gräns för totalt antal VM-kärnor på 30, en gräns för antal kärnor i A-serien på 30 och en gräns för antal kärnor i D-serien på 30. Den här prenumerationen skulle tillåtas distribuera 30 virtuella A1-datorer eller 30 virtuella D1-datorer, eller en kombination av de två som inte överstiger totalt 30 kärnor.

    Du kan inte höja gränserna för virtuella datorer över de värden som visas i följande tabell.

    Resurs Gräns
    Azure-prenumerationer som är associerade med en Microsoft Entra-klientorganisation Obegränsat
    Coadministratorer per prenumeration Obegränsat
    Resursgrupper per prenumeration 980
    Storlek på Azure Resource Manager API-begäran 4 194 304 byte
    Taggar per prenumeration1 50
    Unika taggberäkningar per prenumeration2 80 000
    Distributioner på prenumerationsnivå per plats 8003
    Platser för distributioner på prenumerationsnivå 10

    1Du kan tillämpa upp till 50 taggar direkt på en prenumeration. I prenumerationen är varje resurs eller resursgrupp också begränsad till 50 taggar. Prenumerationen kan dock innehålla ett obegränsat antal taggar som är spridda över resurser och resursgrupper.

    2Resource Manager returnerar en lista med taggnamn och värden i prenumerationen endast när antalet unika taggar är 80 000 eller mindre. En unik tagg definieras av kombinationen av resurs-ID, taggnamn och taggvärde. Till exempel beräknas två resurser med samma taggnamn och värde som två unika taggar. Du kan fortfarande hitta en resurs efter tagg när antalet överskrider 80 000.

    3Distributioner tas automatiskt bort från historiken när du närmar dig gränsen. Mer information finns i Automatiska borttagningar från distributionshistoriken.

    Container Instances

    Mer information finns i Begränsningar för containerinstanser.

    Storage

    Azure Storage har en gräns på 250 lagringskonton per region, per prenumeration. Den här gränsen omfattar både Standard- och Premium-lagringskonton.

    Kvoter på arbetsyta

    Använd arbetsytornas nivåkvoter för att hantera Azure Machine Learning-beräkningsmålallokering mellan flera arbetsytor i samma prenumeration.

    Som standard delar alla arbetsytor samma kvot som kvoten på prenumerationsnivå för VM-familjer. Men du kan ange en högsta kvot för enskilda VM-familjer för arbetsytor i en prenumeration. Med kvoter för enskilda VM-familjer kan du dela kapacitet och undvika problem med resurskonkurrering.

    1. Gå till valfri arbetsyta i din prenumeration.
    2. I det vänstra fönstret väljer du Användning och kvoter.
    3. Välj fliken Konfigurera kvoter för att visa kvoterna.
    4. Expandera en VM-familj.
    5. Ange en kvotgräns för alla arbetsytor som visas under VM-familjen.

    Du kan inte ange ett negativt värde eller ett värde som är högre än kvoten på prenumerationsnivå.

    Skärmbild som visar en nivåkvot på Azure Machine Learning-arbetsyta.

    Kommentar

    Du behöver behörigheter på prenumerationsnivå för att ange en kvot på arbetsytans nivå.

    Visa kvoter i studion

    1. När du skapar en ny beräkningsresurs ser du som standard endast VM-storlekar som du redan har kvot att använda. Växla vyn till Välj bland alla alternativ.

      Skärmbild som visar välj alla alternativ för att se beräkningsresurser som behöver mer kvot

    2. Rulla nedåt tills du ser listan över VM-storlekar som du inte har kvot för.

      Skärmbild som visar en lista över nollkvoter

    3. Använd länken för att gå direkt till kundsupportbegäran online för mer kvot.

    Visa din användning och dina kvoter i Azure Portal

    Om du vill visa din kvot för olika Azure-resurser som virtuella datorer, lagring eller nätverk använder du Azure Portal:

    1. I den vänstra rutan väljer du Alla tjänster och sedan Prenumerationer under kategorin Allmänt .

    2. I listan med prenumerationer väljer du den prenumeration vars kvot du letar efter.

    3. Välj Användning + kvoter för att visa dina aktuella kvotgränser och din användning. Använd filtren för att välja provider och platser.

      Du hanterar Azure Machine Learning-beräkningskvoten för din prenumeration separat från andra Azure-kvoter:

    4. Gå till din Azure Machine Learning-arbetsyta i Azure Portal.

    5. I den vänstra rutan i avsnittet Support + felsökning väljer du Användning + kvoter för att visa dina aktuella kvotgränser och din användning.

      Skärmbild av Azure Portal-vyn över aktuella kvotgränser och användning.

    6. Välj en prenumeration för att visa kvotgränserna. Filtrera efter den region som du är intresserad av.

    7. Du kan växla mellan en vy på prenumerationsnivå och en vy på arbetsytenivå.

    Begär kvot och begränsa höjningar

    En ökning av VM-kvoten är att öka antalet kärnor per VM-familj per region. Ökning av slutpunktsgräns är att öka slutpunktsspecifika gränser per prenumeration per region. Se till att välja rätt kategori när du skickar begäran om kvotökning enligt beskrivningen i nästa avsnitt.

    VM-kvoten ökar

    Om du vill höja gränsen för Azure Machine Learning VM-kvoten över standardgränsen kan du begära en kvotökning från vyn Användning + kvoter ovan eller skicka en begäran om kvotökning från Azure Machine Learning-studio.

    1. Gå till sidan Användning + kvoter genom att följa anvisningarna. Visa de aktuella kvotgränserna. Välj den SKU som du vill begära en ökning för.

      Skärmbild av vm-kvotinformationen.

    2. Ange den kvot som du vill öka och det nya gränsvärdet. Välj slutligen Skicka för att fortsätta.

      Skärmbild av det nya formuläret för vm-kvotbegäran.

    Slutpunktsgränsen ökar

    Om du vill höja slutpunktsgränsen, öppna en kundsupportbegäran online. När du begär en ökning av slutpunktsgränsen anger du följande information:

    1. När du öppnar supportbegäran väljer du Tjänst- och prenumerationsgränser (kvoter) som problemtyper.

    2. Välj valfri prenumeration.

    3. Välj Machine Learning Service: Slutpunktsgränser som Kvottyp.

    4. På fliken Ytterligare information måste du ange detaljerade orsaker till gränsökningen för att din begäran ska kunna bearbetas. Välj Ange information och ange sedan den kvot du vill öka och det nya värdet för varje kvot, orsaken till kvotökningsbegäran och de platser där du behöver öka kvoten. Se till att lägga till följande information i orsaken till gränsökningen:

      1. Beskrivning av ditt scenario och din arbetsbelastning (till exempel text, bild och så vidare).
      2. Motivering för den begärda ökningen.
        1. Ange måldataflödet och dess mönster (genomsnittlig/högsta QPS, samtidiga användare).
        2. Ange målfördröjningen i stor skala och den aktuella svarstiden som du ser med en enda instans.
        3. Ange vilken VM SKU och antal instanser som totalt ska stödja måldataflödet och svarstiden. Ange hur många slutpunkter/distributioner/instanser som du planerar att använda i varje region.
        4. Bekräfta om du har ett prestandatest som visar att vald VM-SKU och antalet instanser kommer att uppfylla dina krav på dataflöde och svarstid.
        5. Ange typen av nyttolast och storleken på en enda nyttolast. Nätverkets bandbredd bör anpassas efter nyttolastens storlek och begäranden per sekund.
        6. Ange planerad tidsplan (genom att när du behöver ökade gränser – ange stegvis plan om möjligt) och bekräfta om (1) kostnaden för att köra den i den skalan återspeglas i din budget och (2) om mål-VM-SKU:erna godkänns.
    5. Välj slutligen Spara och fortsätt för att fortsätta.

      Skärmbild av informationsformuläret för slutpunktsgräns.

      Kommentar

      Den här begäran om ökning av slutpunktsgräns skiljer sig från begäran om ökning av VM-kvoter. Om din begäran gäller ökning av VM-kvoten följer du anvisningarna i avsnittet om ökningar av VM-kvoten.

    Beräkningsgränsen ökar

    För att öka den totala beräkningsgränsen öppnar du en kundsupportbegäran online. Tillhandahåll följande information:

    1. När du öppnar supportbegäran väljer du Teknisk som typ av problem.

    2. Välj valfri prenumeration

    3. Välj maskininlärning som tjänsten.

    4. Välj valfri resurs

    5. I sammanfattningen nämner du ”Öka de totala beräkningsgränserna"

    6. Välj Beräkningskluster som problemtyp och Klustret skalas inte upp eller har fastnat i storleksändringen som undertypenProblem.

      Skärmbild av fliken problembeskrivning.

    7. På fliken Ytterligare information anger du prenumerations-ID, region, ny gräns (mellan 500 och 2 500) och affärsmotivering om du vill öka de totala beräkningsgränserna i den här regionen.

      Skärmbild av fliken ytterligare information.

    8. Välj slutligen Skapa för att skapa en supportbegäran.