Typy nasazení pro modely Microsoft Foundry

Microsoft Foundry zpřístupňuje modely pomocí konceptu nasazení modelu ve službě Foundry Services (dříve označované jako Azure AI Services). Nasazení modelů jsou také prostředky Azure a při jejich vytvoření poskytují přístup k danému modelu v rámci specifických konfigurací. Taková konfigurace zahrnuje infrastrukturu potřebnou ke zpracování požadavků.

Modely Foundry poskytují zákazníkům volby struktury hostování, které odpovídají jejich obchodním vzorům a vzorům použití. Tyto možnosti se překládají na různé typy nasazení (nebo modely SKU), které jsou k dispozici při nasazení modelu v rámci prostředku Foundry.

Služba nabízí dva hlavní typy nasazení: standardní a zřízené. U daného typu nasazení můžou zákazníci sladit své úlohy s požadavky na zpracování dat. Můžou zvolit geografickou oblast Azure (Standard nebo Provisioned-Managed), zónu dat určenou Microsoftem (DataZone- Standard nebo DataZone Provisioned-Managed) nebo globálníGlobal-Standard (nebo Global Provisioned-Managed) možnost zpracování.

U jemně vyladěných modelů poskytuje další Developer typ nasazení nákladově efektivní způsob vyhodnocení vlastního modelu, ale bez rezidence dat.

Všechna nasazení můžou provádět přesně stejné operace odvozování, ale fakturace, škálování a výkon se podstatně liší. V rámci návrhu řešení musíte provést klíčová rozhodnutí ve dvou kategoriích:

• Umístění zpracování dat
• Objem volání

Umístění pro zpracování dat při nasazení Foundry

U standardních nasazení si můžete vybrat ze tří možností typu nasazení: globální, datová zóna a geografická oblast Azure. Pro zřízená nasazení existují dvě možnosti typu nasazení, ze které si můžete vybrat: globální a geografickou oblast Azure. Jako výchozí bod doporučujeme globální standard.

Globální nasazení

Globální nasazení využívají globální infrastrukturu Azure k dynamickému směrování provozu zákazníků do datacentra s nejlepší dostupností pro požadavky na odvozování zákazníka. Toto znamená, že globální nastavení nabízí nejvyšší počáteční limity propustnosti a nejlepší dostupnost modelu, zároveň však stále zajišťuje naši SLA záruku dostupnosti a nízkou latenci. U úloh s vysokým objemem nad určenými úrovněmi využití na úrovni Standard a Global Standard můžete zaznamenat zvýšenou latenci. Pro zákazníky, kteří vyžadují nižší odchylku latence při velkém využití úloh, doporučujeme použít naše zřízené typy nasazení.

Naše globální nasazení jsou prvním místem pro všechny nové modely a funkce. Podle objemu hovorů by zákazníci s velkým počtem hovorů a požadavky na nízkou variabilitu latence měli zvážit naše předem připravené typy nasazení.

Nasazení datových zón

U všech typů nasazení označených jako Globální můžou být výzvy a odpovědi zpracovány v libovolné geografické oblasti, kde je nasazen příslušný model Foundry. Další informace najdete v části Dostupnost oblasti modelu podle typu nasazení v sadě Foundry Models prodané přímo v Azure.

U libovolného typu nasazení označeného jako DataZone mohou být výzvy a odpovědi zpracovány v libovolné geografické oblasti v zadané zóně dat, jak je definováno Microsoftem. Pokud vytvoříte nasazení DataZone v prostředku Foundry umístěném ve Spojených státech, můžou se výzvy a odpovědi zpracovat kdekoli ve Spojených státech. Pokud vytvoříte nasazení DataZone v prostředku Foundry umístěném v členském státě Evropské unie, mohou být výzvy a odpovědi zpracovány v daném nebo jiném členském státě Evropské unie.

U typu nasazení Global i DataZone se všechna neaktivní uložená data, například nahraná data, ukládají v oblasti určené zákazníkem. Ovlivněno je pouze umístění zpracování, pokud zákazník používá v prostředku Foundry typ nasazení Global nebo DataZone ; Závazky týkající se zpracování a dodržování předpisů v Azure zůstávají platné.

Poznámka:

U typů nasazení Global Standard a Data Zone Standard platí, že pokud primární oblast dojde k přerušení služby, bude ovlivněn veškerý provoz, který je původně směrován do této oblasti. Další informace najdete v průvodci provozní kontinuitou a zotavením po havárii.

Global Standard

• Název skladové položky v kódu: GlobalStandard

Důležité

Neaktivní uložená data zůstávají v určené geografické oblasti Azure. Data však mohou být zpracována pro inference v jakémkoli umístění Foundry. Zjistěte více o úložišti dat.

Globální nasazení jsou k dispozici ve stejných prostředcích Foundry jako neglobální typy nasazení. Umožňují ale používat globální infrastrukturu Azure k dynamickému směrování provozu do datacentra s nejlepší dostupností pro každou žádost. Global Standard poskytuje nejvyšší výchozí kvótu a eliminuje nutnost vyrovnávat zatížení napříč několika prostředky.

Zákazníci s vysokým objemem můžou zaznamenat větší variabilitu latence. Prahová hodnota je nastavená pro každý model. Další informace najdete na stránce Kvóty. U aplikací, které vyžadují nižší odchylku latence při velkém využití úloh, doporučujeme zakoupit zřízenou propustnost.

Globální standardní nasazení podporuje použití prioritního zpracování pro spolehlivý a vysokorychlostní výkon s flexibilitou průběžných plateb. Další informace najdete v Prioritní zpracování pro modely Foundry (náhled).

Globální poskytnuto

• Název skladové položky v kódu: GlobalProvisionedManaged

Důležité

Neaktivní uložená data zůstávají v určené geografické oblasti Azure. Data však mohou být zpracována pro inference v jakémkoli umístění Foundry. Zjistěte více o úložišti dat.

Globální nasazení jsou k dispozici ve stejných prostředcích Foundry jako neglobální typy nasazení. Umožňují ale používat globální infrastrukturu Azure k dynamickému směrování provozu do datacentra s nejlepší dostupností pro každou žádost. Globální zřízená nasazení poskytují rezervovanou kapacitu zpracování modelů pro vysokou a předvídatelnou propustnost pomocí globální infrastruktury Azure.

Global Batch

• Název skladové položky v kódu: GlobalBatch

Důležité

Neaktivní uložená data zůstávají v určené geografické oblasti Azure. Data však mohou být zpracována pro inference v jakémkoli umístění Foundry. Zjistěte více o úložišti dat.

Globální služba Batch je navržená tak, aby efektivně zpracovávala rozsáhlé a vysokoobjemové úlohy zpracování. Asynchronní skupiny požadavků s samostatnou kvótou a 24hodinovým cílovým turnaroundem můžete zpracovat s 50% nižšími náklady než globální standard. Při dávkovém zpracování místo odesílání jednoho požadavku najednou odešlete velký počet požadavků v jednom souboru. Globální požadavky služby Batch mají samostatnou kvótu tokenů, která zabraňuje přerušení online úloh.

Mezi klíčové případy použití patří:

• Rozsáhlé zpracování dat: Paralelní rychlá analýza rozsáhlých datových sad
• Generování obsahu: Umožňuje vytvářet velké objemy textu, jako jsou popisy produktů nebo články.
• Kontrola a shrnutí dokumentů: Automatizujte kontrolu a shrnutí dlouhých dokumentů.
• Automatizace zákaznické podpory: Zpracování mnoha dotazů současně za účelem rychlejších odpovědí
• Extrakce a analýza dat: Extrahujte a analyzujte informace z obrovského množství nestrukturovaných dat.
• Úlohy zpracování přirozeného jazyka (NLP): Provádění úkolů, jako je analýza mínění nebo překlad velkých datových sad.
• Marketing a přizpůsobení: Vygenerujte přizpůsobený obsah a doporučení ve velkém měřítku.

Standard datové zóny

• Název skladové položky v kódu: DataZoneStandard

Důležité

Neaktivní uložená data zůstávají v určené geografické oblasti Azure. Data však mohou být zpracována pro odvozování v libovolném umístění Foundry v rámci zóny dat zadané Microsoftem. Zjistěte více o úložišti dat.

Nasazení služby Data Zone Standard jsou k dispozici ve stejném prostředku Foundry jako všechny ostatní typy nasazení Foundry. Umožňují ale používat globální infrastrukturu Azure k dynamickému směrování provozu do datacentra v rámci datové zóny definované Microsoftem s nejlepší dostupností pro každou žádost. Data Zone Standard poskytuje vyšší výchozí kvóty než naše typy nasazení založené na zeměpisné oblasti Azure.

Zákazníci s vysokým objemem můžou zaznamenat větší variabilitu latence. Prahová hodnota je nastavená pro každý model. Další informace najdete na stránce kvót a omezení. Pro úlohy, které vyžadují nízkou variabilitu latence ve velkém objemu, doporučujeme použít předem připravené možnosti nasazení.

Standardní nasazení zóny dat podporuje použití prioritního zpracování pro spolehlivý a vysokorychlostní výkon s flexibilitou průběžných plateb. Další informace najdete v Prioritní zpracování pro modely Foundry (náhled).

Zřízená datová zóna

• Název skladové položky v kódu: DataZoneProvisionedManaged

Důležité

Neaktivní uložená data zůstávají v určené geografické oblasti Azure. Data však mohou být zpracována pro odvozování v libovolném umístění Foundry v rámci zóny dat zadané Microsoftem. Zjistěte více o úložišti dat.

Nasazení zřízená zónou dat jsou k dispozici ve stejném prostředku Foundry jako všechny ostatní typy nasazení Foundry. Umožňují ale používat globální infrastrukturu Azure k dynamickému směrování provozu do datacentra v rámci datové zóny určené Microsoftem s nejlepší dostupností pro jednotlivé požadavky. Nasazení zřízená v zóně dat poskytují rezervovanou kapacitu zpracování modelu pro vysokou a předvídatelnou propustnost pomocí infrastruktury Azure v rámci datové zóny určené Microsoftem.

Dávka datové zóny

• Název skladové položky v kódu: DataZoneBatch

Důležité

Neaktivní uložená data zůstávají v určené geografické oblasti Azure. Data však mohou být zpracována pro odvozování v libovolném umístění Foundry v rámci zóny dat zadané Microsoftem. Zjistěte více o úložišti dat.

Nasazení dávkové datové zóny poskytují všechny stejné funkce jako Globální dávkové nasazení. Umožňují ale používat globální infrastrukturu Azure k dynamickému směrování provozu jenom do datacenter v rámci datové zóny definované Microsoftem s nejlepší dostupností pro každou žádost.

Standard

• Název skladové položky v kódu: Standard

Standardní nasazení nabízejí fakturaci za volání dle zvoleného modelu. Tento model může být rychlý způsob, jak začít, protože platíte jenom za to, co využíváte. Dostupné modely v jednotlivých oblastech a propustnost můžou být omezené.

Standardní nasazení jsou optimalizovaná pro úlohy s nízkým až středním objemem s vysokou nárazovou zátěží. Zákazníci s vysokým objemem můžou zaznamenat větší variabilitu latence.

Zřízeno v jednotlivých oblastech

• Název skladové položky v kódu: ProvisionedManaged

Regionální zřízená nasazení vám umožňují specifikovat požadovanou míru propustnosti pro nasazení. Služba pak přidělí potřebnou kapacitu zpracování modelu a zajistí, že je pro vás připravená. Propustnost se definuje z hlediska zřízených jednotek propustnosti, což je normalizovaný způsob reprezentace propustnosti pro vaše nasazení. Každý pár verze modelu vyžaduje k nasazení různé množství zřízených jednotek propustnosti a poskytuje různé objemy propustnosti na zřízenou jednotku propustnosti. Další informace najdete v článku o konceptech zřízené propustnosti.

Zakázání přístupu ke globálním nasazením ve vašem předplatném

Azure Policy pomáhá vynucovat standardy organizace a vyhodnocovat dodržování předpisů ve velkém měřítku. Prostřednictvím řídicího panelu souladu s předpisy poskytuje agregované zobrazení pro vyhodnocení celkového stavu prostředí s možností přejít k podrobnostem jednotlivých prostředků a podrobností politik. Pomáhá také dosáhnout souladu vašich prostředků prostřednictvím hromadného řešení pro stávající prostředky a automatického řešení pro nové prostředky. Přečtěte si další informace o službě Azure Policy a konkrétních integrovaných ovládacích prvcích pro Foundry Tools.

Pomocí následujících zásad můžete zakázat přístup k libovolnému typu nasazení Foundry. Pokud chcete zakázat přístup ke konkrétnímu typu nasazení, nahraďte GlobalStandard názvem skladové položky pro typ nasazení, ke kterému chcete zakázat přístup.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Vývojář (pro jemně vyladěné modely)

• Název skladové položky v kódu: DeveloperTier

Důležité

Neaktivní uložená data zůstávají v určené geografické oblasti Azure. Data však mohou být zpracována pro inference v jakémkoli umístění Foundry. Zjistěte více o úložišti dat.

Precizně vyladěné modely podporují Developer proces nasazení, který je navržen tak, aby umožňoval vlastní vyhodnocení modelu. Nenabízí záruky uchovávání dat ani SLA. Další informace o použití Developer typu nasazení najdete v průvodci vyladěním.

Nasazení modelů

Další informace o vytváření prostředků a nasazování modelů najdete v průvodci vytvořením prostředku.

Související obsah

• Kvóty a limity modelů Microsoft Foundry
• Ochrana osobních údajů a zabezpečení dat pro modely Foundry