Přehled nasazení pro modely Microsoft Foundry

Microsoft Foundry Models je centrum pro zjišťování a nasazování široké škály modelů AI pro generování aplikací AI. Pokud chcete model zpřístupnit pro žádosti o odvozování, nasadíte ho. Foundry nabízí dvě možnosti nasazení v závislosti na typu modelu a potřebách vaší infrastruktury.

Tip

Nemusíte vždy vytvářet nasazení. S okamžitým přístupem (Preview) voláte podporované modely podle názvu a spustíte odvozování okamžitě – nevyžaduje se žádné nasazení.

Možnosti nasazení

Foundry nabízí dvě možnosti nasazení:

  • Standardní nasazení v prostředcích Foundry — Pro Foundry Models, včetně Foundry Models prodávaných společností Azure (také známých jako Azure Direct Models neboli ADM) a vybraných modelů od partnerů a komunity. Tato možnost je upřednostňovaná a nejpohodnější cesta nasazení.
  • Nasazení spravovaného výpočetního prostředí (Preview) – k dispozici pro všechny modely open source softwaru (OSS), včetně modelů od partnerů a komunity a vlastních modelů.

Portál Foundry automaticky vybere příslušnou možnost nasazení na základě zvoleného modelu.

Standardní nasazení v prostředcích Foundry Spravované výpočetní služby
Modely ADM modely (modely Azure OpenAI a modely partnerů fakturované prostřednictvím Azure) a vyberte modely od partnerů a komunity Jiné modely v katalogu modelů od partnerů a vlastních modelů Například modely z Hugging Face, NVIDIA NIMs, oborových modelů a Databricks.
Fakturace Využití tokenů nebo zřízené jednotky propustnosti (PTU) Za hodinu pro SKU akcelerátoru
Zpracování dat Regionální, datová zóna nebo globální Global
Filtrování obsahu Integrované a přizpůsobitelné Prostřednictvím API služeb Bezpečnost obsahu Azure AI

Standardní nasazení v prostředcích Foundry

Standardní nasazení v prostředcích Foundry je upřednostňovanou možností nasazení v Foundry. Podporuje nejširší škálu možností a typů nasazení.

Které modely používají standardní nasazení?

Všechny modely Foundry, včetně modelů Foundry prodané Azure a select Models od partnerů a komunity používají standardní nasazení. Modely Foundry prodané Azure zahrnují všechny modely Azure OpenAI a vybrané modely od hlavních poskytovatelů, kteří se účtují prostřednictvím vašeho předplatného Azure, na které se vztahují smlouvy o úrovni služeb Azure a podporované Microsoft. Vyberte modely od partnerů a komunity, včetně modelů Anthropic, které používají standardní nasazení a konkrétní modely od partnerů jako Mistral, Cohere a Meta.

Schopnosti

Standardní nasazení podporuje:

  • Více typů nasazení – Global Standard, Data Zone Standard, Regional Standard, Provisioned, Batch a další. Každý typ řídí, kde se zpracovávají data a jak platíte. Podrobnosti najdete v tématu Typy nasazení Microsoft Foundry Models.
  • Flexibilita zpracování dat – zvolte regionální, datovou zónu (USA nebo EU) nebo globální zpracování na základě vašich požadavků na dodržování předpisů.
  • Konteční filtrování – integrované Bezpečnost obsahu Azure AI filtry s přizpůsobitelnými konfiguracemi.
  • Ověřování bez klíčů – Microsoft Entra ID (doporučeno) a ověřování na základě klíčů.
  • Privátní sítě – integrace virtuální sítě pro zabezpečený přístup
  • Zřízená propustnost – rezerva kapacity s PTU pro předvídatelný výkon s nízkou latencí. Podrobnosti najdete v tématu Zřízená propustnost.

Požadavky na prostředky

Standardní nasazení je k dispozici v:

  • Foundry resources – hlavní typ zdroje pro nové projekty Foundry. Nevyžaduje se žádné centrum AI.
  • Azure prostředky OpenAI – Pokud používáte prostředky Azure OpenAI, katalog modelů zobrazuje pouze Azure modely OpenAI pro nasazení. Upgradujte na prostředek Foundry pro přístup k úplné sadě modelů Foundry.

Pokud chcete začít s nasazením, podívejte se na Nasaďte Microsoft Foundry modely na portálu Foundry nebo Nasaďte modely pomocí Azure CLI a Bicep.

Nasazení spravovaného výpočetního prostředí (Preview)

Note

Spravované výpočetní prostředky ve Foundry jsou aktuálně ve verzi Public Preview a k jeho použití se vyžaduje registrace . Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Spravované výpočetní prostředky ve Foundry (Preview) jsou spravovaná platforma GPU jako služba (PaaS), která hostuje open-source modely a modely s vlastními vahami na vyhrazené kapacitě GPU. K nasazením spravovaných výpočetních prostředků přistupujete prostřednictvím stejného koncového bodu projektu Foundry jako k jiným typům nasazení, aniž byste museli spravovat virtuální počítače, clustery nebo runtime prostředí pro obsluhu. Foundry dimenzuje nasazení, zajišťuje akcelerátory a udržuje běhové prostředí aktualizované bezpečnostními opravami.

Důležité

Spravované výpočetní prostředky podporují opensourcové, partnerské, oborové a vlastní modely. Spravovaná nasazení výpočetních prostředků jsou poskytována prostřednictvím sjednoceného koncového bodu projektu Foundry se stejným ověřováním, síťovými funkcemi a rozhraním SDK.

Které modely používají spravované výpočetní prostředky?

Mezi příklady kolekcí modelů, které vyžadují spravované výpočetní prostředky, patří:

  • Hugging Face
  • Některé meta modely
  • Některé modely Mistral
  • Mikroslužby odvození NVIDIA (NIM)
  • Průmyslové modely (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
  • Databricks
  • Vlastní modely

Microsoft Katalog Foundry zahrnuje 10 000 a více opensourcových a partnerských modelů s přibližně 50 novými modely publikovanými každý měsíc.

Schopnosti

Spravované výpočetní prostředí (Preview) podporuje:

  • Jednotný koncový bod a ověřování Foundry – používejte stejný koncový bod projektu, klíče rozhraní API, Microsoft Entra ID a privátní síťové připojení jako u nasazení s platbou za token a se zřízenou propustností. Inferenční trasy používají <endpoint>/managed-deployments/<deployment-name>/. Moduly runtime kompatibilní s dokončováním chatu také pracují na standardní /openai/v1/ trase se sadou OpenAI SDK.
  • Dimenzování instance modelu — Nasazení se dimenzují podle modelu. Nemusíte vybírat skladové položky virtuálních počítačů, protože Foundry vybírá gpu na instanci na základě velikosti modelu, architektury, délky kontextu a toho, jestli je úloha optimalizovaná pro latenci nebo propustnost.
  • Optimalizované runtimy pro inferenci — kontejnery vLLM, SGLang a NVIDIA NIM spravované společností Microsoft s průběžným dávkováním, spekulativním dekódováním, tenzorovým paralelismem a hot-swapem LoRA.
  • Rodiny akcelerátorů – A100 (80 GB), H100 (80 GB), H200 (141 GB) a MI300X.
  • Automatické škálování a škálování na nulu – automatické škálování z živého provozu nebo ruční škálování Nakonfigurujte časový limit nečinnosti tak, aby se nasazení škálovalo na nulu, když nepřichází žádný provoz, a fakturace se tak okamžitě zastavila.
  • Runtime spravovaná společností Microsoft – Microsoft zajišťuje runtime pro obsluhu, základní image kontejnerů a bezpečnostní opravy. Aktualizace se na živá nasazení použijí automaticky.
  • Metriky pozorovatelnosti – Každé nasazení generuje počet volání rozhraní API podle stavového kódu a percentilů doby odezvy. Modely dokončování chatu také generují počty vstupních a výstupních tokenů, percentily TTFT (time-to-first-token) a celkové percentily doby odezvy seskupené podle času.

Fakturace a kvóty

Fakturace spravovaných výpočetních kapacit probíhá hodinově podle SKU akcelerátoru, přičemž základní účtovací jednotkou je propustnost na GPU. Automatické škálování a škálování na nulu přizpůsobují náklady skutečné zátěži, takže se fakturace zastaví okamžitě, jakmile se instance škálují dolů.

Kvóta se uděluje pro každé SKU akcelerátoru v každé oblasti prostřednictvím procesu kvót Foundry a je oddělená od kvóty virtuálních počítačů Azure. Azure virtuální počítače představují nabídku IaaS (infrastruktura jako služba) s regionálními skladovými položkami. Spravované výpočetní prostředky představují nabídku PaaS, která vede ke zpracování globálních zón a zón dat. U spravovaného výpočetního nasazení nejde použít existující kvótu Azure virtuálních počítačů.

Spravované výpočetní prostředky jsou aktuálně k dispozici pro globální nasazení. Odhady sazeb najdete v cenové kalkulačce Azure.

Začínáme

Porovnání možností nasazení

Kdykoli je to možné, implementujte standardní nasazení v prostředcích Foundry. Následující tabulka porovnává možnosti napříč dvěma možnostmi nasazení:

Schopnosti Standardní nasazení v prostředcích Foundry Spravované výpočetní služby
Které modely je možné nasadit? Všechny modely Foundry, včetně modelů Foundry, které prodává Azure a select Models od partnerů a komunity Opensourcové a partnerské modely z katalogu modelů, NVIDIA NIM a oborových modelů
Prostředek pro nasazení Zdroj platformy Foundry Projekt slévárny
Vyžaduje AI Hub. Ne Ne
Možnosti zpracování dat Regionální, datová zóna, globální Global
Privátní sítě Ano Ano
Filtrování obsahu Integrované a přizpůsobitelné Není k dispozici ve verzi Public Preview
Ověřování bez klíčů Ano (Microsoft Entra ID a založené na klíčích) Ano (Microsoft Entra ID a založené na klíčích)
Fakturace Využití tokenů nebo zřízené jednotky propustnosti Za hodinu pro SKU akcelerátoru

Tip

Podrobné informace o cenách najdete v tématu Plán a správa nákladů na Microsoft Foundry.

Související obsah

  • Last updated on