Registrering av etablerade dataflödesenheter
Den här artikeln beskriver hur du registrerar dig för etablerade dataflödesenheter (PTU). När du har slutfört den första registreringen rekommenderar vi att du refererar till guiden för att komma igång med PTU.
Kommentar
Etablerade dataflödesenheter (PTU) skiljer sig från standardkvoten i Azure OpenAI och är inte tillgängliga som standard. Om du vill veta mer om det här erbjudandet kontaktar du ditt Microsoft-kontoteam.
När du ska använda etablerade dataflödesenheter (PTU)
Du bör överväga att byta från betala per användning till etablerat dataflöde när du har väldefinierade, förutsägbara dataflödeskrav. Detta inträffar vanligtvis när programmet är redo för produktion eller redan har distribuerats i produktion och det finns en förståelse för den förväntade trafiken. Detta gör det möjligt för användare att korrekt prognostisera den kapacitet som krävs och undvika oväntad fakturering.
Vanliga PTU-scenarier
- Ett program som är redo för produktion eller produktion.
- Programmet har förutsägbar kapacitet/användningsförväntningar.
- Programmet har känsliga krav i realtid/svarstid.
Kommentar
I användningsfall för funktionsanrop och agent kan tokenanvändning vara variabel. Du bör förstå din förväntade TPM-användning (Token per minut) i detalj innan du migrerar arbetsbelastningarna till PTU.
Storleksändring och uppskattning: endast etablerad hanterad
Att fastställa rätt mängd etablerat dataflöde, eller PTU:er, som du behöver för din arbetsbelastning är ett viktigt steg för att optimera prestanda och kostnader. I det här avsnittet beskrivs hur du använder kapacitetsplaneringsverktyget för Azure OpenAI. Verktyget ger dig en uppskattning av den PTU som krävs för att uppfylla arbetsbelastningens behov.
Beräkna etablerat dataflöde och kostnad
Om du vill få en snabb uppskattning för din arbetsbelastning öppnar du kapacitetsplaneraren i Azure OpenAI Studio. Kapacitetshanteraren finns under Hanteringskvoter>>etablerade.
Alternativet Etablerad och kapacitetsplaneraren är endast tillgängliga i vissa regioner i fönstret Kvot. Om du inte ser det här alternativet om du anger kvotregionen till Sverige central blir det här alternativet tillgängligt. Ange följande parametrar baserat på din arbetsbelastning.
| Indata | beskrivning |
|---|---|
| Modell | OpenAI-modell som du planerar att använda. Exempel: GPT-4 |
| Version | Version av den modell som du planerar att använda, till exempel 0614 |
| Prompttoken | Antal token i prompten för varje anrop |
| Generationstoken | Antal token som genereras av modellen för varje anrop |
| Högsta samtal per minut | Högsta samtidiga belastning till slutpunkten mätt i anrop per minut |
När du har fyllt i nödvändig information väljer du Beräkna för att visa den föreslagna PTU:en för ditt scenario.
Kommentar
Kapacitetshanteraren är en uppskattning som baseras på enkla indatakriterier. Det mest exakta sättet att fastställa din kapacitet är att jämföra en distribution med en representationsarbetsbelastning för ditt användningsfall.
Förstå inköpsmodellen för etablerat dataflöde
Till skillnad från Azure-tjänster där du debiteras baserat på användning, köps funktionen Azure OpenAI Provisioned Throughput som ett förnyelsebart, månatligt åtagande. Det här åtagandet debiteras din prenumeration när du skapar och vid varje månatlig förnyelse. När du registrerar dig för Etablerat dataflöde måste du skapa ett åtagande för varje Azure OpenAI-resurs där du tänker skapa en etablerad distribution. De PTU:er som du köper på det här sättet är tillgängliga för användning när du skapar distributioner på dessa resurser.
Det totala antalet PTU:er som du kan köpa via åtaganden är begränsat till det antal etablerade dataflödeskvoter som har tilldelats din prenumeration. I följande tabell jämförs andra egenskaper för åtagandena För etablerat dataflöde (PTUs) och Etablerat dataflöde.
| Område | Säljbudget | Utfästelser |
|---|---|---|
| Syfte | Ger behörighet att skapa etablerade distributioner och ger den övre gränsen för den kapacitet som kan användas | Köpa fordon för kapacitet för etablerat dataflöde |
| Livstid | Kvoten kan tas bort från din prenumeration om den inte köps via ett åtagande inom fem dagar efter att den beviljats | Minimiperioden är en månad, med kundvalbart autorenewal-beteende. Ett åtagande kan inte avbrytas och kan inte flyttas till en ny resurs när det är aktivt |
| Omfattning | Kvoten är specifik för en prenumeration och region och delas mellan alla Azure OpenAI-resurser | Åtaganden är ett attribut för en Azure OpenAI-resurs och är begränsade till distributioner inom den resursen. En prenumeration kan innehålla så många aktiva åtaganden som det finns resurser. |
| Precision | Kvoten beviljas specifik för en modellfamilj (till exempel GPT-4) men kan delas mellan modellversioner i familjen | Åtaganden är inte modell- eller versionsspecifika. En resurss 1 000 PTU-åtagande kan till exempel omfatta distributioner av både GPT-4 och GPT-35-Turbo |
| Kapacitetsgaranti | Att ha en kvot garanterar inte att kapaciteten är tillgänglig när du skapar distributionen | Kapacitetstillgänglighet för att täcka incheckade PTU:er garanteras så länge åtagandet är aktivt. |
| Ökningar/minskningar | Ny kvot kan begäras och godkännas när som helst, oberoende av datum för åtagandeförnyelse | Antalet PTU:er som omfattas av ett åtagande kan ökas när som helst, men kan inte minskas förutom vid tidpunkten för förnyelsen. |
Kvoter och åtaganden fungerar tillsammans för att styra skapandet av distributioner i dina prenumerationer. För att skapa en etablerad distribution måste två villkor uppfyllas:
- Kvoten måste vara tillgänglig för den önskade modellen inom önskad region och prenumeration. Det innebär att du inte kan överskrida din prenumeration/regionomfattande gräns för modellen.
- Bekräftade PTU:er måste vara tillgängliga för resursen där du skapar distributionen. (Den kapacitet som du tilldelar distributionen betalas för).
Åtagandeegenskaper och laddningsmodell
Ett åtagande innehåller flera egenskaper.
| Property | beskrivning | När du ställer in |
|---|---|---|
| Azure OpenAI-resurs | Resursen som är värd för åtagandet | Skapa åtagande |
| Bekräftade PTU:er | Antalet PTU:er som omfattas av åtagandet. | Ursprungligen inställd vid skapande av åtagande och kan ökas när som helst, men inte minskas. |
| Period | Åtagandets löptid. Ett åtagande upphör att gälla en månad från det datum då det skapades. Förnyelseprincipen definierar vad som händer härnäst. | Skapa åtagande |
| Utgångsdatum | Åtagandets förfallodatum. Den här förfallotiden är midnatt UTC. | Ursprungligen 30 dagar från skapandet. Förfallodatumet ändras dock om åtagandet förnyas. |
| Förnyelsepolicy | Det finns tre alternativ för vad du ska göra vid förfallodatum: – Ny automatiskt: En ny åtagandeperiod börjar i ytterligare 30 dagar med det aktuella antalet PTU:er – Återställ automatiskt med olika inställningar: Den här inställningen är samma som Automatisk återställning, förutom att antalet PTU:er som har checkats in vid förnyelsen kan minskas – Förnya inte automatiskt: När förfallodatumet upphör åtagandet och förnyas inte. |
Ursprungligen inställd vid skapande av åtagande och kan ändras när som helst. |
Åtagandebelopp
Etablerade dataflödesåtaganden genererar avgifter mot din Azure-prenumeration vid följande tidpunkter:
Vid skapande av åtagande. Avgiften beräknas enligt den aktuella månatliga PTU-kursen och antalet bekräftade PTU:er. Du får en enda förskottsavgift på din faktura.
Vid förnyelse av åtagandet. Om förnyelseprincipen är inställd på automatisk förnyelse genereras en ny månatlig avgift baserat på de PTU:er som har checkats in under den nya perioden. Den här avgiften visas som en enda förskottsavgift på din faktura.
När nya PTU:er läggs till i ett befintligt åtagande. Avgiften beräknas baserat på antalet PTU:er som lagts till i åtagandet, proportionellt per timme till slutet av den befintliga åtagandeperioden. Om till exempel 300 PTU:er läggs till i ett befintligt åtagande på 900 PTU:er exakt halvvägs genom perioden debiteras en avgift vid tidpunkten för tillägget för motsvarande 150 PTU:er (300 PTU:er proportionellt till åtagandets förfallodatum). Om åtagandet förnyas debiteras följande månads avgift för den nya PTU:n på totalt 1 200 PTU:er.
Så länge antalet distribuerade PTU:er i en resurs omfattas av resursens åtagande ser du bara åtagandeavgifterna. Men om antalet distribuerade PTU:er i en resurs blir större än resursens incheckade PTU:er debiteras de överskjutande PTU:erna som överförbrukning per timme. Det enda sättet att överförbrukning sker är vanligtvis om ett åtagande upphör att gälla eller minskas vid förnyelsen medan resursen innehåller distributioner. Om ett 300 PTU-åtagande till exempel tillåts upphöra att gälla för en resurs som har 300 PTU:er distribuerade, omfattas de distribuerade PTU:erna inte längre av något åtagande. När förfallodatumet har nåtts debiteras prenumerationen en timavgift för överförbrukning baserat på de 300 överskjutande PTU:erna.
Timpriset är högre än det månatliga åtagandet och avgifterna överskrider månadspriset inom några dagar. Det finns två sätt att avsluta timavgifter för överförbrukning:
- Ta bort eller skala ned distributioner så att de inte använder fler PTUs än vad som har checkats in.
- Skapa ett nytt åtagande för resursen för att täcka de distribuerade PTU:erna.
Inköp och hantering av åtaganden
Planera dina åtaganden
När du får en bekräftelse på att PTU-kvoten (Provisioned Throughput Unit) har tilldelats en prenumeration måste du skapa åtaganden för målresurserna (eller utöka befintliga åtaganden) för att göra kvoten användbar för distributioner.
Innan du skapar åtaganden ska du planera hur de etablerade distributionerna ska användas och vilka Azure OpenAI-resurser som ska vara värdar för dem. Åtaganden har en minimiperiod på en månad och kan inte minskas i storlek förrän i slutet av perioden. De kan inte heller flyttas till nya resurser när de har skapats. Slutligen kan summan av dina incheckade PTU:er inte vara större än din kvot – PTU:er som har checkats in på en resurs är inte längre tillgängliga att checka in på en annan resurs förrän åtagandet upphör att gälla. Med en tydlig plan för vilka resurser som ska användas för etablerade distributioner och den kapacitet som du tänker tillämpa på dem (i minst en månad) kan du säkerställa en optimal upplevelse med konfigurationen av det etablerade dataflödet.
Till exempel:
Skapa inte ett åtagande och distribution på en tillfällig resurs för validering. Du kommer att vara låst till att använda resursen i minst en månad. Om planen i stället är att i slutändan använda PTU:erna på en produktionsresurs skapar du åtagandet och testar distributionen på den resursen redan från början.
Beräkna antalet PTU:er som ska checkas in på en resurs baserat på antalet, modellen och storleken på de distributioner som du tänker skapa, med tanke på det minsta antalet PTU:er som varje modell kräver för att skapa en distribution.
Exempel 1: GPT-4-32K kräver minst 200 PTU:er för distribution. Om du bara skapar ett åtagande på 100 PTUs för en resurs har du inte tillräckligt med engagerade PTU:er för att distribuera GPT-4-32K där
Exempel 2: Om du behöver skapa flera distributioner på en resurs summerar du de PTU:er som krävs för varje distribution. En produktionsresurs som är värd för distributioner för 300 PTU:er för GPT-4 och 500 PTU:er för GPT-4-32K kräver ett åtagande på minst 800 PTUs för att täcka båda distributionerna.
Distribuera eller konsolidera PTU:er efter behov. Till exempel kan den totala kvoten på 1 000 PTU:er distribueras mellan resurser efter behov för att stödja dina distributioner. Den kan checkas in på en enskild resurs för att stödja en eller flera distributioner som lägger till upp till 1 000 PTU:er eller distribueras över flera resurser (till exempel en utvecklingsresurs och en prod-resurs) så länge det totala antalet incheckade PTU:er är mindre än eller lika med kvoten på 1 000.
Överväg driftskraven i din plan. Till exempel:
- Namngivningskonventioner för organisatoriskt nödvändiga resurser
- Principer för affärskontinuitet som kräver flera distributioner av en modell per region, kanske på olika Azure OpenAI-resurser
Hantera etablerade dataflödesåtaganden
Etablerade dataflödesåtaganden skapas och hanteras från vyn Hantera åtaganden i Azure OpenAI Studio. Du kan navigera till den här vyn genom att välja Hantera åtaganden i fönstret Kvot:
I vyn Hantera åtaganden kan du göra flera saker:
- Köp nya åtaganden eller redigera befintliga åtaganden.
- Övervaka alla åtaganden i din prenumeration.
- Identifiera och vidta åtgärder för åtaganden som kan orsaka oväntad fakturering.
Avsnitten nedan tar dig igenom dessa uppgifter.
Köpa ett åtagande för etablerat dataflöde
När åtagandeplanen är klar är nästa steg att skapa åtagandena. Åtaganden skapas manuellt via Azure OpenAI Studio och kräver att användaren skapar åtagandet för att ha rollen Deltagare eller Cognitive Services-deltagare på prenumerationsnivå.
Följ dessa steg för varje nytt åtagande som du behöver skapa:
- Starta dialogrutan Köp av etablerat dataflöde genom att välja Kvoter>etablerade>hantera åtaganden.
Välj Köp åtagande.
Välj Azure OpenAI-resursen och köp åtagandet. Du ser dina resurser indelade i resurser med befintliga åtaganden, som du kan redigera och resurser som för närvarande inte har något åtagande.
| Inställning | Kommentar |
|---|---|
| Välj en resurs | Välj den resurs där du ska skapa den etablerade distributionen. När du har köpt åtagandet kan du inte använda ptus på en annan resurs förrän det aktuella åtagandet upphör att gälla. |
| Välj en åtagandetyp | Välj Etablerad. (Etablerad motsvarar Etablerad hanterad) |
| Aktuell okommenterad etablerad kvot | Det antal ptus som för närvarande är tillgängliga för dig att checka in på den här resursen. |
| Belopp att checka in (PTU) | Välj det antal PTU:er som du förbinder dig till. Det här antalet kan ökas under åtagandeperioden, men kan inte minskas. Ange värden i steg om 50 för åtagandetypen Etablerad. |
| Åtagandenivå för aktuell period | Åtagandeperioden är inställd på en månad. |
| Förnyelseinställningar | Förnya automatiskt vid aktuella PTU:er Förnya automatiskt vid lägre PTU:er Förnya inte automatiskt |
- Välj Köp. En bekräftelsedialogruta visas. När du har bekräftat kommer dina PTU:er att checkas in och du kan använda dem för att skapa en etablerad distribution. |
Viktigt!
Ett nytt åtagande faktureras i förväg för hela perioden. Om förnyelseinställningarna är inställda på automatisk förnyelse debiteras du igen på varje förnyelsedatum baserat på förnyelseinställningarna.
Redigera ett befintligt åtagande för etablerat dataflöde
I vyn Hantera åtaganden kan du också redigera ett befintligt åtagande. Det finns två typer av ändringar som du kan göra i ett befintligt åtagande:
- Du kan lägga till PTU:er i åtagandet.
- Du kan ändra förnyelseinställningarna.
Om du vill redigera ett åtagande väljer du den aktuella som ska redigeras och väljer sedan Redigera åtagande.
Lägga till etablerade dataflödesenheter i befintliga åtaganden
Genom att lägga till PTU:er i ett befintligt åtagande kan du skapa större eller fler distributioner i resursen. Du kan göra detta när som helst under perioden för ditt åtagande.
Viktigt!
När du lägger till PTU:er i ett åtagande debiteras de omedelbart till ett proportionellt belopp från aktuellt datum till slutet av den befintliga åtagandeperioden. Att lägga till PTU:er återställer inte åtagandeperioden.
Ändra förnyelseinställningar
Inställningar för förnyelse av åtagande kan ändras när som helst före åtagandets förfallodatum. Orsaker till att du kanske vill ändra förnyelseinställningarna är att avsluta din användning av etablerat dataflöde genom att ange åtagandet att inte förnya automatiskt, eller att minska användningen av etablerat dataflöde genom att minska antalet PTU:er som kommer att genomföras under nästa period.
Viktigt!
Om du tillåter att ett åtagande upphör att gälla eller minskar i storlek, så att distributionerna under resursen kräver fler PTU:er än vad du har i ditt resursåtagande, får du timavgifter för överförbrukning för eventuella överskjutande PTU:er. Till exempel genererar en resurs som har distributioner som totalt 500 PTUs och ett åtagande för 300 PTU:er timförbrukningsavgifter för 200 PTUs.
Övervaka åtaganden och förhindra oväntade faktureringar
Fönstret Hantera åtaganden ger en prenumerationsöversikt över alla resurser med åtaganden och PTU-användning inom en viss Azure-prenumeration. Av särskilt intresse är:
- PTUs Committed, Deployed and Usage – Dessa siffror anger storleken på dina åtaganden och hur mycket som används av distributioner. Maximera din investering genom att använda alla dina incheckade PTU:er.
- Förfalloprincip och datum – Förfallodatum och princip talar om för dig när ett åtagande upphör att gälla och vad som händer när det gör det. Ett åtagande som är inställt på automatisk förnyelse genererar en faktureringshändelse på förnyelsedatumet. För åtaganden som upphör att gälla måste du ta bort distributioner från dessa resurser före förfallodatumet för att förhindra fakturering per timmes överförbrukningDe aktuella förnyelseinställningarna för ett åtagande.
- Meddelanden – Aviseringar om viktiga villkor som oanvända åtaganden och konfigurationer som kan leda till överförbrukning av fakturering. Överförbrukning av fakturering kan orsakas av situationer som när ett åtagande har upphört att gälla och distributioner fortfarande finns kvar, men har övergått till fakturering per timme.
Vanliga scenarier för åtagandehantering
Sluta använda etablerat dataflöde
Om du vill sluta använda etablerat dataflöde och förhindra kostnader för överförbrukning per timme efter att åtagandet har upphört att gälla, stoppa eventuella avgifter efter att de aktuella åtagandena har upphört att gälla, måste två steg vidtas:
- Ange förnyelseprincipen för alla åtaganden till Återskapa inte automatiskt.
- Ta bort de etablerade distributionerna med hjälp av kvoten.
Flytta ett åtagande/en distribution till en ny resurs i samma prenumeration/region
Det går inte att flytta en distribution eller ett åtagande till en ny resurs direkt i Azure OpenAI Studio. I stället måste en ny distribution skapas på målresursen och trafiken flyttas till den. Ett åtagande måste upprättas för den nya resursen för att åstadkomma detta. Eftersom åtaganden debiteras i förväg under en 30-dagarsperiod är det nödvändigt att tidsbefria den här flytten med förfallodatumet för det ursprungliga åtagandet för att minimera överlappningen med det nya åtagandet och "dubbelfakturering" under överlappningen.
Det finns två metoder som kan användas för att genomföra den här övergången.
Alternativ 1: Överlappande övergång
Det här alternativet kräver viss stilleståndstid, men kräver ingen extra kvot och genererar inga extra kostnader.
| Steg | Kommentar |
|---|---|
| Ange förnyelseprincipen för det befintliga åtagandet så att den upphör att gälla | Detta förhindrar att åtagandet förnyas och genererar ytterligare avgifter |
| Innan det befintliga åtagandet upphör att gälla tar du bort distributionen | Stilleståndstiden startar nu och varar tills den nya distributionen skapas och trafiken flyttas. Du minimerar varaktigheten genom att tajma borttagningen så nära förfallodatum/tid som möjligt. |
| När det befintliga åtagandet har upphört att gälla skapar du åtagandet för den nya resursen | Minimera stilleståndstiden genom att köra detta och nästa steg så snart som möjligt efter förfallodatumet. |
| Skapa distributionen på den nya resursen och flytta trafik till den |
Alternativ 2: Överlappad övergång
Det här alternativet har ingen stilleståndstid genom att ha både befintliga och nya distributioner live samtidigt. Detta kräver att kvoten är tillgänglig för att skapa den nya distributionen och genererar extra kostnader under tiden för de överlappande distributionerna.
| Steg | Kommentar |
|---|---|
| Ange förnyelseprincipen för det befintliga åtagandet så att den upphör att gälla | Detta förhindrar att åtagandet förnyas och genererar ytterligare avgifter. |
| Innan det befintliga åtagandet upphör att gälla: 1. Skapa åtagandet för den nya resursen. 2. Skapa den nya distributionen. 3. Växla trafik 4. Ta bort befintlig distribution |
Se till att du lämnar tillräckligt med tid för alla steg innan det befintliga åtagandet upphör att gälla, annars genereras överförbrukningsavgifter (se nästa avsnitt) för alternativ. |
Om det sista steget tar längre tid än förväntat och slutförs när det befintliga åtagandet har upphört att gälla finns det tre alternativ för att minimera överförbrukningsavgifter.
- Ta stilleståndstid: Ta bort den ursprungliga distributionen och slutför sedan flytten.
- Betala överförbrukning: Behåll den ursprungliga distributionen och betala varje timme tills du har flyttat bort trafiken och tagit bort distributionen.
- Återställ det ursprungliga åtagandet för att förnya en gång till. Detta ger dig tid att slutföra flytten med en känd kostnad.
Både betalning för överförbrukning och återställning av det ursprungliga åtagandet genererar avgifter utöver det ursprungliga förfallodatumet. Att betala överförbrukningsavgifter kan vara billigare än ett nytt enmånadsåtagande om du bara behöver en dag eller två för att slutföra flytten. Jämför kostnaderna för båda alternativen för att hitta metoden med lägsta kostnad.
Flytta distributionen till en ny region och eller prenumeration
Samma metoder gäller för att flytta åtagandet och distributionen inom regionen, förutom att det krävs en tillgänglig kvot på den nya platsen i alla fall.
Visa och redigera en befintlig resurs
I Azure OpenAI Studio väljer du Kvotetablerade>>hantera åtaganden och väljer en resurs med ett befintligt åtagande för att visa/ändra den.