Hantera och öka kvoter för resurser med Azure AI Studio
Viktigt!
Vissa av de funktioner som beskrivs i den här artikeln kanske bara är tillgängliga i förhandsversionen. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.
Kvoten ger flexibiliteten att aktivt hantera allokering av hastighetsgränser mellan distributionerna i din prenumeration. Den här artikeln går igenom processen för att hantera kvoter för dina virtuella Azure AI Studio-datorer och Azure OpenAI-modeller.
Azure använder gränser och kvoter för att förhindra budgetöverskridanden på grund av bedrägerier och för att respektera Azures kapacitetsbegränsningar. Det är också ett bra sätt att kontrollera kostnaderna för administratörer. Överväg dessa begränsningar när du skalar för produktionsarbetsbelastningar.
I den här artikeln lär du dig mer om:
- Standardgränser för Azure-resurser
- Skapa kvoter på Azure AI Studio-hubbnivå.
- Visa dina kvoter och gränser
- Begära kvot- och gränsökningar
Särskilda beaktanden
Kvoter tillämpas på varje prenumeration i ditt konto. Om du har flera prenumerationer måste du begära en kvotökning för varje prenumeration.
En kvot är en kreditgräns för Azure-resurser, inte en kapacitetsgaranti. Om du behöver mycket kapacitet kan du kontakta Azure-supporten för att öka kvoten.
Kommentar
Azure AI Studio-beräkning har en separat kvot från kärnberäkningens kvot.
Standardgränserna varierar beroende på erbjudandets kategorityp, t.ex. kostnadsfri utvärderingsversion, betala per användning och VM-serie (t.ex. Dv2, F eller G).
Azure AI Studio-kvot
Följande åtgärder i Azure AI Studio förbrukar kvot:
- Skapa en beräkningsinstans.
- Skapa ett vektorindex.
- Distribuera öppna modeller från modellkatalogen.
Azure AI Studio-beräkning
Azure AI Studio-beräkning har en standardkvotgräns för både antalet kärnor och antalet unika beräkningsresurser som tillåts per region i en prenumeration.
- Kvoten för antalet kärnor delas upp av varje VM-familj och kumulativa totala kärnor.
- Kvoten för antalet unika beräkningsresurser per region är separat från den virtuella datorns kärnkvot, eftersom den endast gäller för de hanterade beräkningsresurserna
Om du vill höja gränserna för beräkning kan du begära en kvotökning i Azure AI Studio.
Tillgängliga resurser är:
- Dedikerade kärnor per region har en standardgräns på 24 till 300, beroende på vilken typ av prenumerationserbjudande du har. Du kan öka antalet dedikerade kärnor per prenumeration för varje VM-familj. Specialiserade VM-familjer som NCv2, NCv3 eller ND-serien börjar med ett standardvärde på noll kärnor. Även GPU:er har som standard noll kärnor.
- Den totala beräkningsgränsen per region har en standardgränspå 500 per region inom en viss prenumeration och kan ökas till ett maximalt värde på 2 500 per region. Den här gränsen delas mellan beräkningsinstanser och hanterade onlineslutpunktsdistributioner. En beräkningsinstans anses vara ett kluster med en nod i kvotsyfte. För att öka den totala beräkningsgränsen öppnar du en kundsupportbegäran online.
När du öppnar supportbegäran för att öka den totala beräkningsgränsen anger du följande information:
Välj Teknisk för problemtypen.
Välj den prenumeration som du vill öka kvoten för.
Välj Machine Learning som tjänsttyp.
Välj den resurs som du vill öka kvoten för.
I fältet Sammanfattning anger du "Öka de totala beräkningsgränserna"
Välj Beräkningsinstans som problemtyp och Kvot som problemundertyp.
Välj Nästa.
På sidan Ytterligare information anger du prenumerations-ID, region, ny gräns (mellan 500 och 2 500) och affärsmotivering för att öka de totala beräkningsgränserna för regionen.
Välj Skapa för att skicka supportbegäran.
Delad kvot för Azure AI Studio
Azure AI Studio tillhandahåller en pool med delad kvot som är tillgänglig för olika användare i olika regioner att använda samtidigt. Beroende på tillgänglighet kan användarna tillfälligt komma åt kvoten från den delade poolen och använda kvoten för att utföra testning under en begränsad tid. Den specifika tidsperioden beror på användningsfallet. Genom att tillfälligt använda kvoten från kvotpoolen behöver du inte längre skicka in ett supportärende för en kortsiktig kvotökning eller vänta tills din kvotbegäran har godkänts innan du kan fortsätta med din arbetsbelastning.
Användning av den delade kvotpoolen är tillgänglig för testning av slutsatsdragning för Llama-2-, Phi-, Nemotron-, Mistral-, Dolly- och Deci-DeciLM-modeller från modellkatalogen. Du bör endast använda den delade kvoten för att skapa tillfälliga testslutpunkter, inte produktionsslutpunkter. För slutpunkter i produktion bör du begära dedikerad kvot. Fakturering för delad kvot är användningsbaserad, precis som fakturering för dedikerade virtuella datorfamiljer.
Container Instances
Mer information finns i Begränsningar för containerinstanser.
Storage
Azure Storage har en gräns på 250 lagringskonton per region, per prenumeration. Den här gränsen omfattar både Standard- och Premium-lagringskonton.
Visa och begära kvoter i Azure AI Studio
Använd kvoter för att hantera beräkningsmålallokering mellan flera Azure AI Studio-hubbar i samma prenumeration.
Som standard delar alla hubbar samma kvot som kvoten på prenumerationsnivå för VM-familjer. Du kan dock ange en maximal kvot för enskilda VM-familjer för mer detaljerad kostnadskontroll och styrning på hubbar i en prenumeration. Med kvoter för enskilda VM-familjer kan du dela kapacitet och undvika problem med resurskonkurrering.
I Azure AI Studio går du till sidan Start och väljer Kvot.
Välj fliken Azure ML för att visa kvoten för de virtuella datorfamiljerna. Kvoten visas på prenumerationsnivå i den valda Azure-regionen. Om du vill begära mer kvot väljer du VM-familjen och väljer sedan Begär kvot.
