Jaká je zřízená propustnost pro modely Foundry?

Aktuálně zobrazeno:Nová verze portálu Foundry - Přepnout na verzi pro klasický portál Foundry

Zřízený výkon je typ nasazení služby Microsoft Foundry, který pro dané nasazení poskytuje vyhrazený výkon pro zpracování modelu. Na rozdíl od standardních nasazení se kapacita odvozování sdílí mezi zákazníky a propustností se může lišit podle poptávky, zřízené nasazení obsahuje pevné množství výpočetní kapacity výhradně pro použití vašeho nasazení bez ohledu na to, jestli se provádějí požadavky.

Tento článek představuje základní koncepty zřízené propustnosti: co je, kdy ji používat, jak se kapacita měří a účtuje, a co vědět o kvótě a kapacitě před nasazením.

Porovnání kategorií nasazení

Standardní nasazení, dávkové nasazení, zpracování priority a zřízená propustnost jsou způsoby nasazení modelů v Microsoft Foundry. Správná volba závisí na požadavcích na latenci, vzorech provozu a odolnosti proti nákladům.

Typ nasazení Billing Smlouva o úrovni služeb (SLA) pro latenci Typ a potřeby úlohy
Standard Platba za token None Vyvážené úlohy: vývoj, testování a produkce s proměnlivým nebo nepředvídatelným provozem
Přednostní zpracování Cena za token (sazba pro prioritní úroveň) Definovaný cíl latence na model Produkční úlohy citlivé na latenci vyžadují konzistentní nízkou latenci bez dlouhodobého závazku.
Poskytnuto Na PTU za hodinu (nebo s využitím rezervací Azure) Definovaný cíl latence na model Kritické produkční úlohy ve velkém měřítku, které vyžadují zaručenou propustnost a konzistentní latenci
Batch Platba za token (zvýhodněná dávková sazba) None Hromadné zpracování úloh bez požadavků na latenci Výsledky se vrací asynchronně.

Kdy použít zřízenou propustnost

Zřízená propustnost je správnou volbou v případech, kdy vaše aplikace má:

  • Předvídatelné charakteristiky provozu: Máte přiměřený odhad počtu požadavků za minutu a objemu tokenů.
  • Požadavky citlivé na latenci: Vaši uživatelé nebo podřízené systémy potřebují konzistentní odpovědi s nízkou latencí.
  • Objem v produkčním měřítku: Případy použití vysoké propustnosti, kdy je fakturace podle tokenu nákladná.
  • Scénáře v reálném čase nebo interaktivní scénáře: Chatové aplikace, kopiloti nebo agenti, u kterých proměnlivá doba odezvy zhoršuje uživatelskou zkušenost.

Standardní nasazení zůstávají vhodnější volbou pro vývoj, testování, použití v malém objemu nebo výrazně proměnlivý provoz, který ztěžuje předem správně dimenzovat nasazení.

Přidělené jednotky propustnosti

Zřízené jednotky propustnosti (PTU) jsou měrnou jednotkou zřízené propustnosti. PTU představuje pevné množství kapacity zpracování modelu. Při vytváření vyhrazeného nasazení určíte, kolik PTU se má přidělit. Foundry si rezervuje dané množství výpočetního výkonu a drží je pro vaše nasazení.

Klíčové charakteristiky PTU:

  • Nezávislá na modelu: Stejnou kvótu PTU je možné použít k nasazení libovolného podporovaného modelu. Pro konkrétní model si nekoupíte PTU.
  • Specifická oblast: Kvóta PTU se uděluje na předplatné, na oblast a na typ nasazení. Kvóta v East US se nepřenáší do West Europe.
  • Propustnost se liší podle modelu: Tokeny za minutu (TPM), které daný počet ptU doručuje, závisí na modelu. Těžší model vyžaduje k obsluze stejného TPM více PTU než méně náročný model. Informace o poměrech PTU-to-TPM pro jednotlivé modely najdete v tématu Parametry propustnosti podle modelu.
  • Platí minimální velikosti nasazení: Každý model má minimální počet PTU potřebný k vytvoření nasazení. Minimální hodnoty se liší podle modelu a jsou uvedeny v parametrech nasazení a hodnotách propustnosti podle modelu.

Kvóta a kapacita

Kvóta PTU a kapacita spolu souvisejí, ale jsou to odlišné pojmy, které oba ovlivňují to, zda můžete vytvořit nasazení. Tato část vysvětluje, co je každý z nich, jak požádat o další kvótu a jak zkontrolovat, jestli je kapacita ve vaší oblasti dostupná.

Co je kvóta PTU?

Kvóta PTU je maximální počet PTU, které můžete nasadit na předplatné, každou oblast a typ nasazení. Kvóta je limit zásad vynucený Azure a nemá přidružené náklady. Kvóta je definována na úrovni nabídky (Global Provisioned, Data Zone Provisioned a Regional Provisioned jsou samostatné kvótové fondy) a na úrovni regionu (například kvóta v East US se nevztahuje na West Europe).

Výchozí kvóta se přiřadí oprávněným předplatným v několika oblastech.

Co je kapacita?

Kapacita je skutečné množství PTU na verzi modelu, která je k dispozici k nasazení. Kapacita se přiděluje v době nasazení a uchovává se po celou dobu životnosti nasazení.

Důležité

Kvóta PTU nezaručuje dostupnost kapacity. Pokud kapacita v oblasti není dostatečná pro požadovaný počet PTU, nasazení selže. Dostupnost kapacity vždy ověřte před plánováním nasazení nebo nákupem rezervace.

Vzhledem k tomu, že kapacita je konečný, dynamicky se měnící prostředek:

  • Dostupnost kapacity se mění v průběhu dne na základě poptávky zákazníků ve všech oblastech a modelech.
  • Odstranění nebo zmenšení nasazení uvolní jeho kapacitu zpět do kapacitního poolu regionu. Není zaručeno, že je stejná kapacita k dispozici, pokud nasazení znovu vytvoříte nebo škálujete později.

Jak získat kvótu

K oprávněným předplatným v několika oblastech je přiřazeno výchozí množství globální, datové zóny a regionální zřízené kvóty. Další kvótu nebo kapacitu můžete požádat odesláním formuláře žádosti o kvótu. Formulář je k dispozici také na portálu Foundry na stránce Kvóta .

Schválení může trvat několik dní na základě dostupnosti kvóty a po schválení žádosti dostanete e-mailové oznámení.

Postup kontroly dostupné kapacity

Kontrola dostupnosti kapacity v reálném čase:

  • Použijte prostředí nasazení portálu Foundry, které vám řekne, jestli je kapacita dostupná, když se pokusíte vytvořit nasazení a vypíše alternativní oblasti s dostupnou kapacitou, pokud cílová oblast nemá dostatek.
  • Pomocí rozhraní API kapacit modelů můžete programově dotazovat maximální počet nasaditelných PTU pro daný model a oblast.

Pokud vaše cílová oblast nemá dostupnou kapacitu:

  • Odešlete formulář žádosti o kvótu a požádejte o větší kvótu nebo kapacitu.
  • Zkuste provést nasazení s menším počtem PTU.
  • Zkuste to později, protože dostupnost kapacity se dynamicky mění v průběhu dne.

Podrobné pokyny k vytváření zřízených nasazení a zpracování omezení kapacity najdete v tématu Začínáme se zřízenými nasazeními.

Dimenzování PTU

Před vytvořením vyhrazeného nasazení odhadněte, kolik PTU vaše zatížení vyžaduje. Výpočet řídí tři faktory:

  • Tvar požadavku: Očekávané požadavky za minutu (RPM), průměrná velikost výzvy (vstupní tokeny) a průměrná velikost odpovědi (výstupní tokeny).
  • Poměr výstupu ke vstupu: Výstupní tokeny vyžadují větší kapacitu zpracování než vstupní tokeny. Každý model má poměr, který vyjadřuje, kolika vstupním tokenům odpovídá jeden výstupní token z hlediska kapacity. Pro GPT-4.1 a novější Azure modely OpenAI tento poměr odpovídá globálnímu standardnímu cenovému poměru modelu mezi výstupními a vstupními tokeny. Další informace o tomto poměru najdete v tématu Parametry nasazení a hodnoty propustnosti podle modelu.
  • Podíl mezipaměti: Podíl vstupních tokenů načtených z mezipaměti promptu. Tokeny uložené v mezipaměti nevyužívají kapacitu PTU, takže vyšší rychlost mezipaměti snižuje požadované ptu.

Výpočet dimenzování používá tyto faktory k převedení očekávaných objemů tokenů na jednu normalizovanou hodnotu TPM a poté ji vydělí hodnotou modelu vstupní TPM na PTU, čímž se získá požadovaný počet PTU.

Velikost můžete upravit ručně, použít vzorce a hodnoty jednotlivých modelů nebo použít kalkulačku kapacity na portálu Foundry k odhadu s asistencí.

Kompletní metodologie určení velikosti, včetně vzorců, pracovních příkladů a odkazu na kalkulačku kapacity, najdete v tématu Určení velikosti PTU pro úlohu.

Typy nasazení zřízené propustnosti

Zřízená propustnost je k dispozici jako tři typy nasazení. Všechny poskytují vyhrazenou kapacitu a předvídatelnou latenci po nasazení. Rozdíl spočívá v tom, kde se zpracovává váš inferenční provoz:

Typ nasazení sku-name v rozhraní příkazového řádku Směrování dat Nejlepší pro
Globální alokace GlobalProvisionedManaged Směrováno napříč oblastmi Azure po celém světě Nejvyšší dostupnost; pokud není oblast směrování omezena
Zřízená datová zóna DataZoneProvisionedManaged Pobyt v geografické zóně (USA nebo EU) Rezidence dat na úrovni zóny s vyšší dostupností než regionální
Regionálně nasazeno ProvisionedManaged Zůstává v konkrétní oblasti Azure daného nasazení. Přísné požadavky na rezidenci dat v jedné oblasti

Úplné srovnání všech typů nasazení ve Foundry, včetně standardního, dávkového a zřízeného nasazení, najdete v tématu Typy nasazení pro Microsoft Foundry Models.

Podporované modely

Úplný seznam modelů Foundry, které podporují zřízenou propustnost, včetně typů nasazení, které každý model podporuje a dostupnost v jednotlivých oblastech, najdete v tématu Prodané modely Foundry přímo Azure.

Přelévání

Spillover je volitelné nastavení pro správu kolísání provozu u zřízených nasazení, které automaticky směruje nadlimitní požadavky do odpovídajícího standardního nasazení v rámci stejného prostředku Foundry. Když je předem zajištěné nasazení plně vytížené a vrací odpovědi s jiným než 200 stavovým kódem (například 429, když jsou jednotky PTU vyčerpány), spillover přesměruje tyto požadavky na standardní nasazení, což pomáhá omezit výpadky při špičkách provozu.

Všechny modely Azure OpenAI ve Foundry, které podporují zřízenou průchodnost, podporují také přetečení. Foundry Models od jiných poskytovatelů (Azure DeepSeek, Meta Llama) v současné době nepodporují přelití.

Spillover je možné nakonfigurovat pro všechny požadavky v rámci nasazení nebo jej řídit pro jednotlivé požadavky pomocí hlavičky požadavku x-ms-spillover-deployment. Postup konfigurace najdete v tématu Správa provozu s přeléváním pro zřízená nasazení.

Hodinová fakturace a rezervace Azure

Zřízená nasazení podporují dva režimy fakturace: hodinovou fakturaci pro flexibilní krátkodobé využití a Azure Reservations pro trvalé produkční úlohy se zvýhodněnou sazbou.

Hodinová fakturace

Všechny zřízené typy nasazení se účtují hodinovou sazbou ($/PTU/hr) na základě počtu nasazených PTU bez ohledu na počet spotřebovaných tokenů. Měřič se spustí při vytvoření nasazení a zastaví se při jeho odstranění.

Hodinová fakturace je praktická pro krátkodobé scénáře, jako je srovnávací test nového modelu nebo dočasné vertikální navýšení kapacity pro událost, jako je hackathon. Neplánujte ale škálovat zřízená nasazení nahoru a dolů podle provozu, abyste zůstali u hodinové fakturace, a to z následujících důvodů:

  • Kapacita nemusí být dostupná, když ji budete potřebovat znovu navýšit.

  • Průběžná hodinová fakturace s vysokým využitím obvykle překračuje ceny rezervací.

Úplné pokyny k hodinové fakturaci a škálování zřízených nasazení najdete v tématu Hodinová fakturace.

Rezervace Azure

Rezervace Azure představují finanční slevu uplatňovanou na fakturační měřič PTU (čítač hodinového využití, podle kterého Azure účtuje poplatky), nikoli na jednotlivá nasazení. Výměnou za závazek na 1 měsíc nebo 1 rok získáte zvýhodněnou efektivní sazbu $/PTU/hr. Mezi klíčové věci, které je potřeba si uvědomit o rezervacích, patří:

  • Rezervace se kupují podle typu nasazení (globální, zóna dat nebo oblast) a dají se nastavit tak, aby zahrnovaly jedno nebo více předplatných nebo skupin prostředků.

  • Rezervace a nasazení jsou volně propojené, což znamená, že nasazení a rezervace vytváříte nezávisle na sobě.

  • Rezervace nezaručují kapacitu. Nejprve vytvořte nasazení, abyste si ověřili, že je kapacita k dispozici, a poté zakupte rezervaci, abyste si zajistili zvýhodněnou sazbu.

Kompletní pokyny pro dimenzování, nákup a správu rezervací najdete v tématu Rezervace Azure pro zřízenou propustnost.

Sledování nákladů na PTU a fakturace

Pomocí Microsoft Cost Management můžete sledovat a analyzovat náklady na využití PTU a rezervace:

Co chcete udělat Článek
Podívejte se, jaké procento rezervovaných PTU se aktivně používá napříč vašimi nasazeními. Zobrazení využití rezervací Azure
Kontrola historie nákupů a jakékoli aktivity refundace Zobrazení transakcí nákupu a refundace rezervací Azure
Pochopte dopad amortizovaných nákladů vašich rezervací pro lepší přehled o fakturaci podle jednotlivých nasazení Zobrazení amortizovaných nákladů na zvýhodnění
Rozdělení nákladů na rezervace mezi týmy nebo projekty pro interní přiřazení nákladů Vrácení nákladů na rezervaci Azure
Nastavte automatické prodlužování platnosti, abyste zabránili vypršení platnosti rezervace a zachovali zvýhodněnou sazbu. Automatické prodlužování rezervací Azure

Související obsah

  • Last updated on