Azure OpenAI v kvótách a omezeních modelů Microsoft Foundry

Tento článek obsahuje stručný přehled a podrobný popis kvót a omezení pro Azure OpenAI.

Rozsah kvóty

Kvóty a limity se nevynucují na úrovni klienta. Místo toho je nejvyšší úroveň omezení kvóty vymezená na úrovni Azure předplatného.

Přidělení místní kvóty

Limity tokenů za minutu (TPM) a žádosti za minutu (RPM) se definují v jednotlivých oblastech, na předplatné a na model nebo typ nasazení.

Pokud je například uveden model gpt-4.1 Global Standard s kvótou 5 milionů TPM a 5 000 RPM, potom každý region, kde je k dispozici tento model nebo typ nasazení, má vlastní vyhrazený fond kvót této výše pro každé vaše předplatné Azure. V rámci jednoho předplatného Azure je možné použít větší množství celkové kvóty TPM a RPM pro daný typ modelu a typ nasazení, pokud máte prostředky a nasazení modelu rozložené do více oblastí.

Úrovně kvót

Zavádíme úrovně kvót, abychom vylepšili uživatelský zážitek z Foundry Models a minimalizovali potíže při škálování úloh. Kvóty se nyní automaticky zvyšují s využitím, což pomáhá vyhnout se problémům s omezením rychlosti a zároveň vytvářejí spravedlivější prostředí pro všechny uživatele. K dispozici bude sedm úrovní: úroveň Free a úrovně 1 až 6 – s úrovní 6, která nabízí nejvyšší kvóty. Počáteční přiřazená úroveň zákazníka je založená na aktuálním využití tohoto modelu a jejich aktuálním vztahu s Microsoft, jako je například stav smlouvy Enterprise (EA nebo MCA-E). 

Co se pro mě mění?

Dříve Foundry nabízely pouze výchozí a podnikové kvóty pro průběžné platby s velkým rozdílem mezi jednotlivými úrovněmi a delším procesem pro zvýšení požadavků. U úrovní kvót mají všichni uživatelé přiřazenou úroveň s kvótami, které jsou stejné nebo vyšší než jejich předchozí úrovně. Všechny dříve schválené navýšení kvóty se zachovají a nezmenší se. S rostoucím využitím Foundry automaticky zvyšuje kvóty přesunutím uživatelů na vyšší úrovně a další kvótu je možné vyžádat prostřednictvím formuláře kvóty.

Jak se zákazník automaticky přesune z jedné vrstvy na jinou, například jaká jsou kritéria změny vrstev? 

Automatické upgrady vrstev jsou založené především na trendech spotřeby zákazníků v modelech Foundry v průběhu času. Pokud se využití zákazníka zvýší tak, že jeho aktuální úroveň kvóty omezuje schopnost používat Foundry Models, systém automaticky upgraduje zákazníka na další vyšší úroveň. Bere v úvahu také vztah zákazníka s Microsoft. Zákazníkům s podnikovými vztahy (včetně EA a MCA-E) Microsoft přiřazuje vyšší úroveň kvóty. Kromě toho Microsoft také zváží historii plateb zákazníka, aby bylo možné určit způsobilost k automatickým upgradům. 

Můžu se odhlásit z automatických upgradů?

Ano, můžete se odhlásit z automatických upgradů a zůstanete ve své aktuální úrovni bez ohledu na změny ve vaší spotřebě. Uvědomujeme si, že někteří naši zákazníci používají kvótu ke správě fakturace. Toto není Azure osvědčeným postupem, ale chápeme, že pokud je váš systém nakonfigurovaný tak, jak ho nechceme přerušit. Další informace o správě fakturace a osvědčených postupech najdete tady: Cost Management.

Pokud se chcete odhlásit, můžete nastavit následující příznak:NoAutoUpgrade

curl -X PATCH \
  "https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/quotaTiers/default?api-version=2025-10-01-preview" \
  -H "Authorization: Bearer <YOUR_ACCESS_TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "properties": {
      "tierUpgradePolicy": "NoAutoUpgrade"
    }
  }'

Poznámka

Funkce odhlášení je ve verzi Preview a může se v budoucnu změnit nebo odebrat.

Můžu požádat o větší kvótu?

Ano, pomocí formuláře žádosti o kvótu můžete vždy požádat o další kvótu. Pokud je žádost schválena, aktuální úroveň zůstane stejná, ale s přiřazenou větší kvótou.

Jak můžu zkontrolovat úroveň kvóty předplatného?

Nyní můžete zkontrolovat vaší úroveň kvóty pomocí API řídicího plánu:

curl -X GET \
  "https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/quotaTiers?api-version=2025-10-01-preview" \
  -H "Authorization: Bearer $(az account get-access-token --resource https://management.azure.com --query accessToken -o tsv)" \
  -H "Content-Type: application/json"

Referenční informace k úrovni kvóty

Vrstva 1

Název modelu Typ nasazení Žádosti za minutu (RPM) Tokeny za minutu (TPM)
codex-mini GlobalStandard 1,000 1,000,000
náhled použití počítače GlobalStandard 4,500 450 000
gpt-4.1 DataZoneStandard 300 300,000
gpt-4.1 GlobalStandard 1,000 1,000,000
gpt-4.1-mini DataZoneStandard 2 000 2,000,000
gpt-4.1-mini GlobalStandard 5,000 5,000,000
gpt-4.1-mini Standard 6,000 6,000,000
gpt-4.1-nano DataZoneStandard 2 000 2,000,000
gpt-4.1-nano GlobalStandard 5,000 5,000,000
gpt-4o DataZoneStandard 300 / 10 sec 300,000
gpt-4o-audio-ukázka zvuku GlobalStandard 30000 / 10s 30,000,000
gpt-4o-mini DataZoneStandard 10 000 1,000,000
gpt-4o-mini GlobalStandard 20,000 2,000,000
gpt-4o-mini-audio-preview GlobalStandard 30000 / 10s 30,000,000
gpt-4o-mini-předběžný náhled v reálném čase GlobalStandard 36 6,000
gpt-4o-náhled-v-reálném-čase GlobalStandard 36 6,000
gpt-5 DataZoneStandard 3,000 300,000
gpt-5 GlobalStandard 10 000 1,000,000
gpt-5-chat GlobalStandard 1,000 1,000,000
gpt-5-codex GlobalStandard 1,000 1,000,000
gpt-5-mini DataZoneStandard 300 300,000
gpt-5-mini GlobalStandard 1,000 1,000,000
gpt-5-nano DataZoneStandard 2 000 2,000,000
gpt-5-nano GlobalStandard 5,000 5,000,000
gpt-5-pro GlobalStandard 1,600 160,000
gpt-5.1 DataZoneStandard 3,000 300,000
gpt-5.1 GlobalStandard 10 000 1,000,000
gpt-5.1 Standard 3,000 300,000
gpt-5.1-chat GlobalStandard 10 000 1,000,000
gpt-5.1-codex DataZoneStandard 3,000 300,000
gpt-5.1-codex GlobalStandard 1,000 1,000,000
gpt-5.1-codex-max GlobalStandard 10 000 1,000,000
gpt-5.1-codex-mini GlobalStandard 1,000 1,000,000
gpt-5.2 DataZoneStandard 3,000 300,000
gpt-5.2 GlobalStandard 10 000 1,000,000
gpt-5.2-chat GlobalStandard 10 000 1,000,000
gpt-5.3-chat GlobalStandard 1,000 1,000,000
gpt-5.2-codex GlobalStandard 10 000 1,000,000
gpt-5.3-codex GlobalStandard 10 000 1,000,000
gpt-5.4 DataZoneStandard 300 300,000
gpt-5.4 GlobalStandard 10 000 1,000,000
gpt-5.4-pro GlobalStandard 160 160,000
gpt-5.4-mini GlobalStandard 1,000 1,000,000
gpt-5.4-nano DataZoneStandard 2 000 2,000,000
gpt-5.4-nano GlobalStandard 5,000 5,000,000
gpt-5,5 DataZoneStandard 0 0
gpt-5,5 GlobalStandard 0 0
gpt-5.6-luna DataZoneStandard 333 333,000
gpt-5.6-luna GlobalStandard 1,000 1,000,000
gpt-5.6-sol DataZoneStandard 333 333,000
gpt-5.6-sol GlobalStandard 1,000 1,000,000
gpt-5.6-terra DataZoneStandard 333 333,000
gpt-5.6-terra GlobalStandard 1,000 1,000,000
gpt-chat-nejnovější GlobalStandard 10 000 1,000,000
gpt-audio GlobalStandard 30000 / 10s 30,000,000
gpt-image-1 GlobalStandard 9 -
gpt-image-1-mini GlobalStandard 12 -
gpt-image-1.5 DataZoneStandard 3 -
gpt-image-1.5 GlobalStandard 9 -
gpt-image-2 DataZoneStandard 2 -
gpt-image-2 GlobalStandard 6 -
gpt-realtime GlobalStandard 200 100,000
model-router DataZoneStandard 300 300,000
model-router GlobalStandard 1,000 1,000,000
o1 DataZoneStandard 100 600,000
o1 GlobalStandard 500 3,000,000
o3 DataZoneStandard 300 300,000
o3 GlobalStandard 1,000 1,000,000
o3-deep-research GlobalStandard 3,000 3,000,000
o3-mini DataZoneStandard 200 2,000,000
o3-mini GlobalStandard 500 5,000,000
o3-pro GlobalStandard 160 1,600,000
o4-mini DataZoneStandard 300 / 10 sec 300,000
o4-mini GlobalStandard 1,000 1,000,000
text-embedding-3-large DataZoneStandard 1,000 1,000,000
text-embedding-3-large GlobalStandard 1000 / 10 s 1,000,000
text-embedding-3-small DataZoneStandard 1,000 1,000,000
text-embedding-3-small GlobalStandard 1000 / 10 s 1,000,000

Referenční informace o kvótách a omezeních

Následující část obsahuje stručný průvodce výchozími kvótami a omezeními, které platí pro Azure OpenAI:

Název limitu Mezní hodnota
Azure OpenAI prostředky podle oblasti a předplatného Azure 30.
Výchozí limit kvóty GPT-image-1 9 požadavků za minutu
Výchozí limity kvóty pro GPT-image-1-mini 12 požadavků za minutu
Výchozí limity kvóty GPT-image-1.5 9 požadavků za minutu
Výchozí limity kvóty pro GPT-image-2 9 požadavků za minutu
Výchozí limity kvót Sora 60 požadavků za minutu.
Výchozí limity kvót Sora 2 2 žádosti oúlohu 1 za minutu
Výchozí omezení kvóty rozhraní API pro převod řeči na text 3 žádosti za minutu.
Maximální počet tokenů výzvy na požadavek Liší se podle modelu. Další informace najdete v tématu Azure modely OpenAI.
Maximální standardní nasazení na prostředek 32.
Maximální doladěná nasazení modelu 10.
Celkový počet výukových úloh na zdroj 100.
Maximální současně spuštěné trénovací úlohy pro jeden prostředek Standardní a globální školení: 3;
Školení pro vývojáře: 5
Maximální počet trénovacích úloh ve frontě 20.
Maximální počet souborů na prostředek (optimalizace) 100.
Celková velikost všech souborů na zdroj (vyladění) 1 GB.
Maximální doba trénovací úlohy (úloha selže, pokud dojde k překročení) 720 hodin.
Maximální velikost trénovací úlohy (tokens in training file) x (# of epochs) 2 miliardy.
Maximální velikost všech souborů při nahrávání (Azure OpenAI na vašich datech) 16 MB.
Maximální počet vstupů v poli s /embeddings 2,048.
Maximální počet tokenů na /embeddings požadavek (součet napříč všemi vstupy) 300,000.
Maximální počet /chat/completions zpráv 2,048.
Maximální počet /chat/completions funkcí 128.
Maximální počet /chat/completions nástrojů 128.
Maximální počet zřízených jednotek propustnosti na nasazení 100,000.
Maximální počet souborů na asistenta nebo vlákno 10 000 při použití rozhraní API nebo portálu Microsoft Foundry
Maximální velikost souboru pro asistenty a vyladění 512 MB prostřednictvím rozhraní API

200 MB prostřednictvím portálu Foundry.
Maximální počet požadavků na nahrávání souborů na prostředek 30 požadavků za sekundu.
Maximální velikost všech nahraných souborů pro asistenty 200 GB.
Limit tokenů asistentů 2 000 000 tokenů.
GPT-4o a GPT-4.1 maximální počet obrázků na požadavek (počet obrázků v poli zpráv nebo historii konverzací) 50.
GPT-4 vision-preview a GPT-4 turbo-2024-04-09 výchozí maximální počet tokenů 16.

Zvyšte hodnotu parametru, max_tokens abyste se vyhnuli zkráceným odpovědím. GPT-4o Maximální výchozí hodnota tokenů je 4 096.
Maximální počet vlastních hlaviček v požadavcích rozhraní API2 10.
Limit znaků zprávy 1,048,576.
Velikost zprávy pro zvukové soubory 20 MB.

1 Kvóta RPM Sora 2 počítá pouze žádosti o videoúlohy. Jiné typy požadavků nejsou omezeny rychlostí.

2 Naše současné API umožňuje až 10 vlastních hlaviček, které se předávají potrubím a vrací. Někteří zákazníci teď tento počet hlaviček překračují, což vede k chybám HTTP 431. Pro tuto chybu neexistuje jiné řešení než snížit objem hlaviček. V budoucích verzích rozhraní API nebudeme předávat vlastní hlavičky. Doporučujeme zákazníkům, aby se v budoucích systémových architekturách nespoléhali na vlastní hlavičky.

Poznámka

Limity kvót se můžou změnit.

Limity služby Batch

Název limitu Mezní hodnota
Maximální počet vstupních souborů služby Batch – (bez vypršení platnosti) 500
Maximální počet vstupních souborů služby Batch – (sada vypršení platnosti) 10 000
Maximální velikost vstupního souboru 200 MB
Maximální velikost vstupního souboru – Přineste si vlastní úložiště (BYOS) 1 GB
Maximální počet požadavků na soubor 100,000

Poznámka

Limity dávkových souborů se nevztahují na výstupní soubory (například result.jsonla error.jsonl). Pokud chcete odebrat limity dávkových vstupních souborů, použijte Batch s Azure Blob Storage.

Kvóta služby Batch

V tabulce je uveden limit kvóty dávky. Hodnoty kvót pro globální dávku jsou reprezentovány z hlediska zařazených tokenů. Když odešlete soubor pro dávkové zpracování, počítá se počet tokenů v souboru. Dokud dávková úloha nedosáhne terminálního stavu, tyto tokeny se započítávají do celkového limitu čekajících tokenů.

Globální dávka

Model Organizace a MCA-E Výchozí Předplatná založená na měsíčních platebních kartách Předplatná MSDN Azure pro studenty, bezplatné zkušební verze
gpt-4.1 5B 200 M 50 M 90 TISÍC N/A
gpt-4.1 mini 15B 1B 50 M 90 TISÍC N/A
gpt-4.1-nano 15B 1B 50 M 90 TISÍC N/A
gpt-4o 5B 200 M 50 M 90 TISÍC N/A
gpt-4o-mini 15B 1B 50 M 90 TISÍC N/A
gpt-4-turbo 300 M 80 M 40 M 90 TISÍC N/A
gpt-4 150 M 30 M 5 M 100 tisíc N/A
o3-mini 15B 1B 50 M 90 TISÍC N/A
o4-mini 15B 1B 50 M 90 TISÍC N/A
gpt-5 5B 200 M 50 M 90 TISÍC N/A
gpt-5.1 5B 200 M 50 M 90 TISÍC N/A
gpt-5.2 5B 200 M 50 M N/A N/A
gpt-5.4 5B 200 M 50 M N/A N/A
gpt-5.4-mini 5B 200 M 50 M N/A N/A
gpt-5.4-nano 5B 200 M 50 M N/A N/A
gpt-5.5 5B 200 M 50 M 90 TISÍC N/A

B = miliarda | M = milion | K = tisíc

Dávka datové zóny

Model Organizace a MCA-E Výchozí Předplatná založená na měsíčních platebních kartách Předplatná MSDN Azure pro studenty, bezplatné zkušební verze
gpt-4.1 500 M 30 M 30 M 90 TISÍC N/A
gpt-4.1-mini 1,5B 100 M 50 M 90 TISÍC N/A
gpt-4o 500 M 30 M 30 M 90 TISÍC N/A
gpt-4o-mini 1,5B 100 M 50 M 90 TISÍC N/A
o3-mini 1,5B 100 M 50 M 90 TISÍC N/A
gpt-5 5B 200 M 50 M 90 TISÍC N/A
gpt-5.1 5B 200 M 50 M 90 TISÍC N/A
gpt-5.4 5B 200 M 50 M N/A N/A
gpt-5.4-mini 5B 200 M 50 M N/A N/A
gpt-5.5 5B 200 M 50 M 90 TISÍC N/A

gpt-oss

Model Tokeny za minutu (TPM) Žádosti za minutu (RPM)
gpt-oss-120b 5 miliónů 5K rozlišení

Úrovně využití

Globální nasazení standardu používají globální infrastrukturu Azure. Dynamicky směrují zákaznický provoz do datového centra s nejlepší dostupností pro požadavky na předpovědi zákazníka. Podobně nasazení služby Data Zone Standard umožňují používat globální infrastrukturu Azure k dynamickému směrování provozu do datového centra v rámci Microsoft definované datové zóny s nejlepší dostupností pro každou žádost. Tento postup umožňuje konzistentnější latenci pro zákazníky s nízkou až střední úrovní provozu. Zákazníci s vysokou trvalou úrovní využití můžou vidět větší variabilitu latence odezvy.

Azure úrovně využití OpenAI jsou navržené tak, aby poskytovaly konzistentní výkon pro většinu zákazníků s nízkou až střední úrovní provozu. Každá úroveň využití definuje maximální propustnost (tokeny za minutu), kterou můžete očekávat s předvídatelnou latencí. Když vaše využití zůstane v rámci přiřazené úrovně, zůstane latence stabilní a doby odezvy jsou konzistentní.

Co se stane, když překročíte úroveň využití?

  • Pokud propustnost požadavku překročí vaši úroveň využití , zejména během období vysoké poptávky, může se latence odezvy výrazně zvýšit.
  • Latence se může lišit a v některých případech může být více než dvakrát vyšší než při provozu v rámci vaší úrovně využití.
  • Tato variabilita je nejvýraznější pro zákazníky s vysokým trvalým využitím nebo vzory nárazového provozu.

Pokud narazíte na chyby 429 nebo zjistíte zvýšenou variabilitu latence, měli byste udělat toto:

  • Požádejte o navýšení kvóty: Přejděte na portál Azure a požádejte o vyšší kvótu pro vaše předplatné.
  • Zvažte upgrade na prémiovou nabídku (PTU): pro úlohy kritické pro latenci nebo úlohy s velkým objemem, upgradujte na zřízené jednotky propustnosti (PTU). PTU poskytuje vyhrazené prostředky, garantovanou kapacitu a předvídatelnou latenci – i ve velkém měřítku. To je nejlepší volba pro klíčové aplikace, které vyžadují konzistentní výkon.
  • Monitorování využití: Pravidelně kontrolujte metriky využití na portálu Azure a ujistěte se, že pracujete v rámci limitů vaší úrovně. Podle potřeby upravte úlohu nebo strategii nasazení.

Může se zobrazit 429 odpovědí (Příliš mnoho požadavků), i když se metriky využití tokenů zobrazí pod kvótou. Vysvětlení, proč k tomu dochází, najdete v tématu Proč se může zobrazit 429s, i když jsou metriky využití tokenů nižší než kvóta.

Limit využití určuje úroveň využití, nad kterou mohou zákazníci zaznamenat větší rozptyl v latenci odezvy. Využití zákazníka je definováno pro každý model. Jedná se o celkový počet tokenů spotřebovaných ve všech nasazeních ve všech předplatných ve všech oblastech daného tenanta.

Poznámka

Úrovně využití se vztahují pouze na typy nasazení Standard, Data Zone Standard a Global Standard. Úrovně využití se nevztahují na globální dávkové nasazení a nasazení s rezervovanou propustností.

Global Standard, Data Zone Standard a Standard

Model Úrovně využití za měsíc
gpt-5 32 miliard tokenů
gpt-5-mini 160 miliard tokenů
gpt-5-nano 800 miliard tokenů
gpt-5-chat 32 miliard tokenů
gpt-4 + gpt-4-32k (všechny verze) 6 miliard tokenů
gpt-4o 12 miliard tokenů
gpt-4o-mini 85 miliard tokenů
o3-mini 50 miliard tokenů
o1 4 miliardy tokenů
o4-mini 50 miliard tokenů
o3 5 miliard tokenů
gpt-4.1 30 miliard tokenů
gpt-4.1-mini 150 miliard tokenů
gpt-4.1-nano 550 miliard tokenů

Obecné osvědčené postupy pro zachování limitů četnosti

Pokud chcete minimalizovat problémy související s limity rychlosti, je vhodné použít následující techniky:

  • Implementujte logiku opakování ve vaší aplikaci.
  • Vyhněte se ostrým změnám v úloze. Postupně zvyšte zatížení.
  • Otestujte různé vzory zvýšení zatížení.
  • Zvyšte kvótu přiřazenou k vašemu nasazení. V případě potřeby přesuňte kvótu z jiného nasazení.

Podrobné osvědčené postupy, ukázky kódu pro opakování požadavků s backoffem a průvodce řešením potíží s chybou 429 najdete v tématu Správa kvóty Azure OpenAI v Microsoft Foundry Models.

Vyžádání navýšení kvóty

Odešlete formulář žádosti o navýšení kvóty a požádejte o navýšení kvót pro modely Foundry prodávané společností Azure, modely Azure OpenAI a modely Anthropic. S výjimkou modelů Anthropic modely od partnerů a komunity nepodporují zvýšení kvóty.

Žádosti o navýšení kvóty se zpracovávají v pořadí, v jakém jsou přijaty, a priorita přechází na zákazníky, kteří aktivně používají jejich stávající přidělení kvóty. Žádosti, které nesplňují tuto podmínku, můžou být odepřeny.

Omezení kapacity regionální kvóty

Dostupnost kvóty pro vaše předplatné můžete zobrazit v jednotlivých oblastech na portálu Foundry.

Pokud chcete zkontrolovat kvótu a kapacitu prostřednictvím kódu programu, přečtěte si téma Programová kontrola kvóty a kapacity v průvodci správou kvót. Tato část popisuje dvě doplňková rozhraní REST API: rozhraní API využití pro kontrolu spotřeby proti limitům a rozhraní API kapacit modelů pro kontrolu dostupné kapacity nasazení podle modelu a oblasti.

Poznámka

V současné době portál Foundry i rozhraní API kapacity vrací informace o kvótách a kapacitě pro modely, které jsou vyřazené a už nejsou dostupné pro nová nasazení.

Související obsah

  • Last updated on