Spravované výpočetní prostředí v Microsoft Foundry (Preview)

Note

Spravované výpočty ve Foundry jsou momentálně ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Spravované výpočetní prostředky (Preview) je typ nasazení v Microsoft Foundry, který hostuje opensourcové modely na vyhrazené kapacitě GPU, aniž by bylo nutné zřizovat virtuální počítače, provozovat cluster Kubernetes, sestavovat image kontejnerů nebo vlastnit modul runtime obsluhující model. Microsoft vlastní topologii GPU, modul runtime, image kontejneru a opravy zabezpečení. Zvolíte model, šablonu nasazení, rodinu akcelerátorů a chování škálování, které odpovídá vaší úloze.

Spravované výpočty používají stejný prostředek, projekt, koncový bod, ověřování, konfiguraci sítě, sady SDK, monitorování a fakturaci jako jakýkoli jiný typ nasazení ve Foundry. Jakmile nasadíte model se spravovanými výpočetními prostředky, kód aplikace bude stejný jako jakýkoli jiný model Foundry; změní se pouze název nasazení.

Tento článek vysvětluje typ nasazení spravovaných výpočetních prostředků ve Foundry, pojmy, se kterými pracujete (instance modelů, šablony nasazení, rodiny akcelerátorů, běhová prostředí), katalog, ze kterého můžete nasazovat, koncové body pro inferenci, škálování, fakturaci a kvóty, řízení přístupu a aktuální omezení. Podrobné pokyny k nasazení najdete v tématu Nasazení opensourcových modelů se spravovanými výpočetními prostředky.

Kam ve Foundry zapadá spravované výpočetní prostředí

Foundry nabízí tři typy nasazení. Spravované výpočetní prostředky jsou typ nasazení používaný pro open-source modely na vyhrazené kapacitě GPU.

Typ nasazení Co slouží Fakturování Nejlepší pro
Standardní platba za token Foundry Models prodávané společností Azure Za vstupní a výstupní token Nejsnazší způsob, jak začít; nárazový provoz na hostovaných modelech bez nutnosti plánování kapacity.
Zřízená propustnost Modely Foundry prodávané Azurem Rezervované jednotky propustnosti Předvídatelné a trvalé zatížení vybraných modelů Foundry prodávaných prostřednictvím Azure s konzistentní latencí.
Spravovaný výpočetní výkon Opensourcové modely a modely komunity z katalogu Foundry Za hodinu podle rodiny akcelerátorů Hostování open-source modelů na vyhrazených grafických procesorech s runtime prostředími spravovanými službou Foundry, privátními síťovými připojeními a stejnými sadami SDK jako u ostatních typů nasazení.

Všechny tři typy nasazení sdílejí jeden koncový bod Foundry, stejné vzory ověřování (Microsoft Entra ID a klíč), stejné sady SDK, stejnou pozorovatelnost a jednu fakturu. Všechny tři typy nasazení můžete kombinovat v jednom projektu Foundry a volat je ze stejného kódu klienta.

Klíčové koncepty

Tato část popisuje klíčové koncepty, které je potřeba pochopit před použitím spravovaného výpočetního nasazení v Foundry.

Instance modelu

Instance modelu je jednotka nasazení ve spravovaném výpočetním prostředí. Nevybírejte skladovou položku nebo velikost uzlu virtuálního počítače; místo toho popíšete úlohu v modelových termínech a Foundry vybere topologii GPU pod ní. Instance může v závislosti na modelu a šabloně nasazení, kterou vyberete, použít jeden akcelerátor nebo několik. Nasazení škálujete změnou počtu instancí modelu ( capacity hodnota skladové položky nasazení).

Šablona nasazení

Šablona nasazení je pojmenovaný prostředek s verzí, který kóduje způsob spuštění konkrétního modelu. Připnutí šablony:

  • Runtime pro obsluhu (například vLLM nebo SGLang).
  • Řada akcelerátorů a počet instancí (například jedna H100 80 GB nebo dvě A100 80 GB).
  • Podporovaná délka kontextu a všechny volby kvantování.
  • Ladění specifické pro běhové prostředí, například analyzátory volání nástrojů a uvažování, cesta pro vyhodnocování, sondy stavu, souběžnost požadavků a veškerá nastavení rozšíření kontextu specifická pro model.

Při skriptování nasazení odkazujete na ID šablony a Foundry zpracuje zbytek. Každý model v katalogu se obvykle dodává s několika šablonami, které představují kompromis mezi řadou akcelerátorů, délkou kontextu a latencí na jedné straně a propustností na straně druhé. Model například qwen3-32b zveřejňuje čtyři šablony vedle sebe:

Template Runtime akcelerátor Kontext
qwen--qwen3-32b--40k-nvidia-a100 vLLM 1 × A100 80 GB 40 K
qwen--qwen3-32b--40k-nvidia-h100 vLLM 1 × H100 80 GB 40 K
qwen--qwen3-32b--128k-nvidia-2xa100 vLLM 2 × A100 80 GB 128 K
qwen--qwen3-32b--128k-nvidia-2xh100 vLLM 2 × H100 80 GB 128 K

Volba šablony je jediný ovládací prvek pro to, jak model funguje.

Rodiny akcelerátorů

Spravovaná výpočetní nasazení cílí na řadu akcelerátorů, nikoli na konkrétní skladovou položku virtuálního počítače. Podporované rodiny jsou:

  • NVIDIA A100 80 GB (A100_80GB)
  • NVIDIA H100 80 GB (H100_80GB)
  • AMD MI300X 192 GB (MI_300_192GB)

Kvóta se přiděluje pro každou rodinu akcelerátorů v každém regionu.

Běhová prostředí modelů

Spravované výpočetní prostředí spouští každý model v běhovém prostředí pro obsluhu modelu, které Microsoft vytváří, kontroluje, podepisuje a aktualizuje. Kontejnery neprovozujete ani znovu nesestavujete. Portfolio modulu runtime je vybrané pro každou architekturu modelu:

Runtime Použít pro Notes
vLLM Provoz LLM s vysokou propustností Průběžné dávkování, PagedAttention, tensor parallelism, LoRA hot-swap. Výchozí nastavení pro většinu velkých jazykových modelů
SGLang Obsluha LLM s strukturovaným výstupem Generování omezené na JSON, regex a gramatiku pro úlohy využívající agenty a nástroje
TensorRT-LLM Obsluha LLM optimalizovaná pro NVIDIA Inferování na NVIDIA s nízkou latencí pro rodiny modelů, u nichž TRT-LLM dosahuje lepší latence nebo propustnosti.
NVIDIA NIM Mikroslužby NVIDIA Inference TensorRT-LLM backend s kompatibilitou s rozhraním NIM API pro modely publikované společností NVIDIA.
Inferování textových embeddingů (TEI) Vkládání, rerankery, klasifikátory Jádra specifická pro akcelerátor pro vkládání a načítání horkých cest
llama.cpp Obsluha procesoru a malého GPU GGUF-quantizované modely dostupné prostřednictvím stejného API kompatibilního s OpenAI.
hf-serve Počítačové vidění, zvuk, segmentace a další pipeline nativní pro Transformers Hugging Face je multi-modelový server pro způsoby mimo LLM a vkládání rychlých cest.

Aktualizace běhového prostředí a záplaty CVE se automaticky aplikují na produkční nasazení zákazníků. Kvůli aktualizaci modulu runtime není nutné model znovu nasazovat.

Podporované modely

Spravované výpočetní prostředky v Foundry můžete použít k nasazení modelů z kolekce Hugging Face Collection v katalogu modelů Foundry, které se obsluhují z azure-huggingface registru. Tyto modely mají následující atributy:

  • Pečlivě vybráno a každý týden aktualizováno. Trendující modely z ekosystému Hugging Face se průběžně přidávají, protože je komunita publikuje. Katalog zahrnuje text, zpracování obrazu, zvuku a multimodální modely (LLMs a vizuální jazykové modely pro chat a agenty), automatické rozpoznávání řeči (ASR), překlad řeči, vkládání, segmentace a generování obrázků.
  • Pouze SafeTensors, žádný nedůvěryhodný kód. Každý model v kolekci je prověřen. Repozitáře, které by při načítání vyžadovaly spouštění pythonovského kódu třetích stran (vzory trust_remote_code), jsou napraveny nebo vyloučeny.
  • Předem připravené váhy. Váhy modelu jsou jednorázově staženy z Hugging Face, ověřeny a uloženy v úložišti Azure spravovaném společností Microsoft v regionech, kde je model poskytován. Image kontejnerů jsou uloženy v registru spravovaném společností Microsoft. Díky tomu spravovaná výpočetní nasazení nepotřebují odchozí síťový přístup ke službě Hugging Face Hub – můžete je nasadit do plně privátní sítě bez výchozího přenosu dat.
  • Metadata licencí se zachovají. Každá karta modelu katalogu zachycuje a zobrazí nadřazenou licenci. Kontrola licence na základě zásad podnikové distribuce Microsoft probíhá během jejich správy.

Proces správy modelu

Každý model v kolekci Hugging Face prochází předtím, než se objeví v katalogu, pětistupňovým kurátorským procesem:

  1. Identify trending models: Microsoft identifikuje trendové modely na základě signálů komunity, požadavků partnerů a poptávky zákazníků.
  2. Obrazovka dodržování předpisů a zabezpečení: Každý model prochází kontrolou licencí a kontrolou trust_remote_code vzorů a vlastního spustitelného kódu.
  3. Sestavujte, kontrolujte a publikujte image kontejnerů modulu runtime: Vytvářené společností Microsoft, kontrolované na přítomnost CVE, podepsané a publikované do registru spravovaného společností Microsoft.
  4. Nahrání vah do zabezpečeného úložiště Azure: Ověřeno podle karty modelu a uloženo v oblastech, kde je model poskytován.
  5. Ověření a publikování: Každý model, modul runtime a kombinace akcelerátoru se testuje pro shodu a výkon rozhraní API a pak se publikuje do katalogu s cestou nasazení jedním kliknutím.

Koncové body pro inferenci

Nasazení modelu do spravovaných výpočetních prostředků zpřístupní model pro inferenci ve stejném sjednoceném koncovém bodě projektu Foundry, který používají nasazení s platbou za token a se zřízenou propustností. Základní koncový bod má vzor https://<account>.services.ai.azure.com.

Trasy koncových bodů

Spravované nasazení výpočetních prostředků je možné vyvolat ve dvou řadách tras v jednotném koncovém bodu. Zvolená trasa závisí na tom, jestli podkladový model a modul runtime zpřístupňují rozhraní API kompatibilní s OpenAI.

Cesta Cesta Vztahuje se na Chování
Trasa spravovaných nasazení (OSS) <endpoint>/managed-deployments/<deployment-name>/ Všechna spravovaná výpočetní nasazení Funguje pro každý model nasazený na spravované výpočetní prostředky, včetně vlastních modelů, které jsou dodávány s vlastní sadou SDK. Modely, které zpřístupňují /chat/completions , lze také volat přes tuto trasu pomocí sady OpenAI SDK tak, že nasměrují klienta base_url na tuto cestu.
Trasa kompatibilní s OpenAI <endpoint>/openai/v1/ Spravovaná nasazení výpočetních prostředků, jejichž běhové prostředí poskytuje rozhraní API kompatibilní s OpenAI (například vLLM, SGLang, TensorRT-LLM, llama.cpp pro chat nebo embeddingy) Sada OpenAI SDK může volat nasazení nastavením base_url této cesty a předáním názvu nasazení do model pole datové části požadavku. Pokud požadavek cílí na tuto trasu s názvem nasazení, jehož podkladový model nebo modul runtime nepodporuje povrch kompatibilní s OpenAI, vrátí modul runtime http 404.

Klíčové poznatky:

  • Každé nasazení spravovaných výpočetních prostředků je dostupné na trase https://<account>.services.ai.azure.com/managed-deployments/<deployment-name>/.
  • Jakékoli nasazení, jehož runtime je kompatibilní s OpenAI, je také dostupné prostřednictvím adresy https://<account>.services.ai.azure.com/openai/v1/.
  • Pokud chcete sdílet kód klienta s jinými nasazeními Foundry, použijte trasu OpenAI.
  • Použijte cestu managed-deployments pro modely, které využívají vlastní SDK nebo jiné než OpenAI API.

Tip

Nasazení spravovaných výpočetních prostředků pro chat completions lze také přidat do agenta Foundry jako modelem připojeným správcem a vyvolávat je prostřednictvím rozhraní Foundry Responses API pomocí stejné sady SDK OpenAI se stejným ověřováním, koncovým bodem a monitorováním jako u jakéhokoli jiného modelu Foundry.

Ověřování koncového bodu

Spravovaná výpočetní nasazení používají stejné vzory ověřování jako zbytek koncového bodu Foundry:

  • Microsoft Entra ID (doporučeno). Získejte token pro https://ai.azure.com/.default obor a předejte ho jako nosný token v Authorization hlavičce. K volání spravovaného výpočetního nasazení s Entra ID potřebuje volající identita roli Foundry User v oboru účtu Foundry. OpenAI SDK v režimu založeném na tokenech a DefaultAzureCredential funguje bez jakékoli konfigurace specifické pro spravované výpočetní prostředky.
  • Klíč API účtu. Předejte klíč účtu Foundry jako Authorization: Bearer <key>. OpenAI SDK automaticky odešle klíč v této podobě, když nastavíte argument api_key. Klíče udělují stejný přístup ke spravovaným výpočetním nasazením jako u nasazení s platbami za token a PTU na stejném účtu.

Obě možnosti ověřování fungují na obou trasách koncových bodů. Ukázky klientského kódu pro komplexní scénáře (OpenAI SDK s Entra ID nebo klíčem rozhraní API) najdete v části Odeslání testovacího požadavku.

Scaling

Škálujete spravované nasazení výpočetních prostředků změnou počtu instancí modelu. Když nastavíte capacity hodnotu skladové položky nasazení, Foundry odpovídajícím způsobem upraví počet GPU. Celkový počet GPU se rovná počtu instancí modelu vynásobeným grafickými procesory na instanci definovanou vámi zvolenou šablonou nasazení. Foundry vás nepožádá o nastavení velikosti uzlu nebo výběru řady virtuálních počítačů.

Rozsahy fakturace, kvóty a nasazení

Spravované výpočetní prostředky se účtují za akcelerátor a hodinu. Na rozdíl od infrastruktury založené na virtuálních počítačích, kde si pronajímáte celé GPU servery a platíte za každé GPU v serveru bez ohledu na to, zda je váš model využívá, si spravované výpočetní prostředky účtují poplatky za instance modelu. Foundry dimenzuje každý model podle počtu GPU, které skutečně potřebuje (jedno, dvě, čtyři nebo osm), takže neplatíte za nečinné akcelerátory alokované vedle vaší zátěže. Náklady na nasazení jsou:

Akcelerátory na jednu instanci modelu × počet instancí modelu × počet hodin provozu × hodinová sazba

Hodinové sazby se liší podle řady akcelerátorů (A100, H100, MI300X) a podle rozsahu nasazení. Aktuální ceny najdete v cenové kalkulačce Azure.

Obor nasazení

Spravované výpočetní prostředky (verze Preview) aktuálně podporují nasazení Global, které se nastavuje prostřednictvím názvu SKU nasazení GlobalManagedCompute. Globální nasazení poskytuje nejširší kapacitu akcelerátoru s nejnižší rychlostí.

Quota

Spravovaná kvóta výpočetního výkonu se uděluje pro každou řadu akcelerátorů v každé oblasti prostřednictvím procesu přidělování kvót Foundry. Kvóta spravovaných výpočetních prostředků je separat z kvóty virtuálního počítače Azure. Zatímco kvóta virtuálních počítačů Azure je přidělení infrastruktury jako služby (IaaS) vázané na konkrétní regionální SKU virtuálních počítačů, managed compute je spravovaná nabídka PaaS. U spravovaného výpočetního nasazení nejde použít existující kvótu Azure virtuálních počítačů.

Podrobnosti o zobrazení využití, přiřazení nákladů na projekt a vyžádání kvóty najdete v tématu Plánování a správa nákladů na Microsoft Foundry a Spravování a zvýšení kvót.

Řízení přístupu

Spravované výpočetní prostředky používají model řízení přístupu na základě role (RBAC) Foundry. Sada operací poskytovatele prostředků Azure vyžadovaných k vytvoření, čtení, aktualizaci a odstranění spravovaného výpočetního nasazení je zdokumentovaná v Řízení přístupu na základě role pro Microsoft Foundry – operace spravované výpočetní roviny řízení spolu s předdefinovanými rolemi, které každé operaci udělují.

Na první pohled:

  • Přispěvatel služeb Cognitive Services (nebo vlastník Foundry / vlastník účtu Foundry) uděluje úplná oprávnění k vytváření / čtení / aktualizaci / odstraňování nasazení spravovaných výpočetních prostředků.
  • Uživatel Cognitive Services a uživatel Foundry udělují oprávnění k nasazením pouze pro čtení.
  • Foundry Project Manager uděluje oprávnění ke čtení nasazení a údajů o využití akcelerátorů, nikoli k jejich vytváření nebo odstraňování.

Inference (datová rovina) na jednotném koncovém bodu Foundry se řídí standardním vzorem Foundry tím, že se v rámci oboru účtu Foundry přiřadí Foundry User k volání nasazení pomocí Microsoft Entra ID.

Omezení

Spravované výpočty jsou ve veřejné verzi Preview. Před nasazením produkčních úloh si poznamenejte následující:

  • Kontentní filtrování: Předdefinované filtry Bezpečnost obsahu Azure AI nejsou součástí cesty spravovaných výpočetních dat ve verzi Public Preview. Pokud potřebujete filtrování na úrovni požadavku nebo na úrovni odpovědi, volejte rozhraní API Bezpečnost obsahu Azure AI přímo z vaší aplikace.
  • Dostupnost v oblastech: Spravované výpočetní prostředí se spouští v globálním rozsahu. Nasazování zón dat a dalších regionů se postupně zavádí – aktuální pokrytí najdete v matici obecné dostupnosti.
  • Ceny: Hodinové sazby podle rodiny a oblastí akcelerátorů, rezervované kapacity a slev za závazky se vyvíjejí pro spravované nasazení výpočetních prostředků ve verzi Preview. Aktuální sazby najdete v cenové kalkulačce Azure.

Související obsah

  • Last updated on