Prozkoumání modelů Microsoft Foundry v Azure Machine Learning

Microsoft Foundry Models je vaším cílem pro zjišťování, vyhodnocování a nasazování výkonných modelů AI. Bez ohledu na to, jestli vytváříte vlastního kopilota, vytváříte agenta, vylepšujete stávající aplikaci nebo prozkoumáváte nové schopnosti umělé inteligence, modely Foundry splní vaše potřeby.

Pomocí modelů Foundry můžete:

  • Prozkoumejte bohatý katalog špičkových modelů od Microsoftu, OpenAI, DeepSeek, Hugging Face, Meta a další.
  • Porovnejte a vyhodnoťte modely vedle sebe pomocí úloh z reálného světa a vlastních dat.
  • Nasazení s jistotou díky integrovaným nástrojům pro vyladění, pozorovatelnost a zodpovědnou AI
  • Zvolte si cestu – přineste si vlastní model, použijte hostovaný model nebo bezproblémovou integraci se službami Azure.
  • Ať už jste vývojář, datový vědec nebo podnikový architekt, Foundry Models vám poskytuje flexibilitu a kontrolu nad vytvářením řešení AI, která se škálují – bezpečně, zodpovědně a rychle.

Foundry nabízí komplexní katalog modelů AI. Existuje více než 1 900 modelů od základních modelů, Reasoning Models, Small Language Models, Multimodal Models, Domain Specific Models, Industry Models a další.

Katalog je uspořádaný do dvou hlavních kategorií:

Pochopení rozdílu mezi těmito kategoriemi vám pomůže zvolit správné modely na základě vašich konkrétních požadavků a strategických cílů.

Modely Foundry prodávané Azurem

Společnost Microsoft tyto modely hostuje a prodává v rámci podmínek produktů Společnosti Microsoft. Tyto modely procházejí důkladným vyhodnocením a jsou hluboce integrované do ekosystému AI Azure. Pocházejí od různých hlavních poskytovatelů a nabízejí vylepšenou integraci, optimalizovaný výkon a přímou podporu Microsoftu, včetně smluv o úrovni služeb na podnikové úrovni (SLA).

Charakteristiky těchto přímých modelů:

  • Oficiální podpora první strany od Microsoftu
  • Vysoká úroveň integrace se službami Azure a infrastrukturou
  • Rozsáhlé srovnávací testy a ověřování výkonu
  • Dodržování standardů zodpovědné umělé inteligence Microsoftu
  • Škálovatelnost, spolehlivost a zabezpečení na podnikové úrovni

Tyto modely mají také výhodu libovolné zřízené propustnosti, což znamená, že můžete flexibilně využívat svou kvótu a rezervace napříč všemi těmito modely.

Modely od partnerů a komunity

Tyto modely představují většinu modelů Foundry. Tyto modely poskytují důvěryhodné organizace, partneři, výzkumné laboratoře a přispěvatelé z komunity. Nabízejí specializované a různorodé funkce umělé inteligence, které pokrývají širokou škálu scénářů, odvětví a inovací.

Charakteristiky modelů od partnerů a komunity:

  • Vyvinutá a podporovaná externími partnery a přispěvateli komunity
  • Široká škála specializovaných modelů zaměřených na specifické nebo široké případy použití
  • Obvykle si poskytovatelé sami ověřují platnost, přičemž pokyny pro integraci poskytuje Azure.
  • Inovace řízené komunitou a rychlá dostupnost špičkových modelů
  • Standardní integrace Azure AI s podporou a údržbou spravovanou příslušnými poskytovateli

Modely můžete nasadit ve výpočetním prostředí Managed Compute nebo pomocí možnosti Standard (platba podle skutečného využití). Poskytovatel modelu vybere způsob nasazení modelů.

Volba mezi přímými modely a modely partnerů a komunit

Při výběru modelů z Foundry Models zvažte následující faktory:

  • Případ použití a požadavky: Modely prodané Azure jsou ideální pro scénáře, které vyžadují hlubokou integraci Azure, garantovanou podporu a smlouvy SLA pro podniky. Modely ekosystému Azure jsou excelované ve specializovaných případech použití a scénářích zaměřených na inovace.
  • Očekávání podpory: Modely prodané Azure mají robustní Microsoft poskytovanou podporu a údržbu. Poskytovatelé podporují své modely s různými úrovněmi smluv SLA a podpůrných struktur.
  • Inovace a specializace: Modely od partnerů a komunity nabízejí rychlý přístup ke specializovaným inovacím a niche schopnostem, které jsou často vyvíjeny předními výzkumnými laboratořemi a emergujícími poskytovateli AI.

Kolekce modelů

Katalog modelů uspořádá modely do různých kolekcí:

  • Azure modely OpenAI jsou výhradně dostupné na Azure: Vlajková Azure modely OpenAI dostupné prostřednictvím integrace s Azure OpenAI v modelech Foundry. Společnost Microsoft podporuje tyto modely a jejich použití podle podmínek produktu a SLA pro Azure OpenAI in Foundry Models.

  • Otevřete modely z Hugging Face hubu: Stovky modelů z Hugging Face hubu pro inference se spravovanými výpočetními prostředky v reálném čase. Hugging Face vytváří a udržuje modely uvedené v této kolekci. Pokud potřebujete pomoc, použijte fórum Hugging Face nebo podporu Hugging Face. Další informace najdete v tématu Nasazení otevřených modelů pomocí Foundry.

Pokud chcete požádat o přidání modelu do katalogu modelů, použijte tento formulář.

Přehled možností katalogu modelů

Katalog modelů na portálu Foundry je centrum pro zjišťování a používání široké škály modelů pro vytváření aplikací generující AI. Katalog modelů nabízí stovky modelů napříč poskytovateli modelů, jako jsou Azure OpenAI, Mistral, Meta, Cohere, NVIDIA a Hugging Face, včetně modelů, které Microsoft natrénoval. Modely od jiných poskytovatelů než Microsoft jsou produkty jiné společnosti než Microsoft definované v podmínkách produktů společnosti Microsoft a podléhají podmínkám poskytovaným s modely.

Modely, které vyhovují vašim potřebám, můžete vyhledávat a objevovat prostřednictvím hledání klíčových slov a filtrů. Katalog modelů také nabízí tabulku výsledků výkonu modelu a metriky srovnávacích testů pro vybrané modely. Můžete k nim přistupovat výběrem Procházet žebříček a Porovnat modely. Data srovnávacího testu jsou také přístupná na kartě Srovnávací test v kartě Model.

V filtrech katalogu modelů najdete:

  • Kolekce: Modely filtrujte podle kolekce poskytovatele modelu.
  • Obor: filtrujte modely, které jsou natrénované na oborové datové sadě.
  • Možnosti: filtrování jedinečných funkcí modelu, jako jsou odůvodnění a volání nástrojů.
  • Možnosti nasazení: vyfiltrujte modely, které podporují konkrétní možnosti nasazení.
    • Standard: platba za volání rozhraní API.
    • Nastaveno: nejvhodnější pro vyhodnocování v reálném čase pro velký konzistentní objem.
    • Batch: Nejvhodnější pro dávkové úlohy optimalizované pro náklady, nikoliv pro latenci. Pro dávkové nasazení se neposkytuje žádná podpora dětského hřiště.
    • Spravované výpočetní prostředky: Nasaďte model na virtuální počítač Azure. Účtuje se vám hostování a odvozování.
  • Úkoly odvozování: Filtrujte modely na základě typu odvozování úkolu.
  • Vyladění úkolů: Modely filtrování na základě jemně vyladěného typu úkolu.
  • Licence: Filtrujte modely na základě typu licence.

Na kartě modelu najdete:

  • Rychlá fakta: klíčové informace o modelu v rychlém přehledu.
  • Podrobnosti: podrobné informace o modelu, včetně popisu, informací o verzi, podporovaného datového typu a dalších.
  • Srovnávací testy: metriky srovnávacích testů výkonu pro vybrané modely.
  • Existující nasazení: Pokud jste model už nasadili, najdete ho na kartě Existující nasazení .
  • Licence: právní informace související s licencováním modelu.
  • Artefakty: zobrazí se pouze pro otevřené modely. Můžete zobrazit soubory modelu a stáhnout je prostřednictvím uživatelského rozhraní.

Nasazení modelu: Spravovaná výpočetní prostředí a bezserverová nasazení

Kromě modelů Azure OpenAI nabízí katalog modelů dva různé způsoby nasazení modelů pro vaše použití: spravované výpočetní a bezserverové nasazení.

Možnosti nasazení a funkce dostupné pro každý model se liší, jak je popsáno v následujících tabulkách. Přečtěte si další informace o zpracování dat pomocí možností nasazení.

Možnosti nasazení modelu

Vlastnosti Spravovaný výpočetní výkon Bezserverová nasazení
Zkušenosti s nasazením a fakturace Nasaďte váhy modelu do vyhrazených virtuálních počítačů pomocí spravovaných výpočetních prostředků. Spravovaný výpočetní objekt může mít jedno nebo více nasazení a zpřístupňuje rozhraní REST API pro odvozování. Účtuje se vám doba jádra virtuálního počítače, kterou nasazení používají. Přístup k modelům prostřednictvím nasazení, které zřizuje rozhraní API pro jejich přístup. Rozhraní API poskytuje přístup k modelu, který Microsoft hostuje a spravuje, pro predikci. Fakturujete za vstupy a výstupy rozhraní API, obvykle v tokenech. Informace o cenách jsou k dispozici před nasazením.
Ověřování API Klíče a ověřování Microsoft Entra Klíče a ověřování Microsoft Entra
Bezpečnost obsahu Použijte rozhraní API služby Bezpečnost obsahu Azure AI. Bezpečnost obsahu Azure AI filtry jsou k dispozici integrované s rozhraními API pro odvození. Bezpečnost obsahu Azure AI filtry se účtují samostatně.
Izolace sítě Konfigurace spravovaných sítí pro centra Foundry Bezserverová nasazení se řídí nastavením příznaku PNA (Public Network Access) vašeho centra. Další informace najdete v části Izolace sítě pro modely nasazené prostřednictvím standardních nasazení dále v tomto článku.

Spravovaný výpočetní výkon

Možnost nasazení modelů pomocí spravovaných výpočetních prostředků vychází z možností platformy služby Azure Machine Learning, která umožňuje bezproblémovou integraci v celém životním cyklu GenAIOps (někdy označované jako LLMOps) široké kolekce modelů v katalogu modelů.

Diagram znázorňující životní cyklus LLMOps

Dostupnost modelů pro nasazení jako spravované výpočetní prostředky

K těmto modelům můžete přistupovat prostřednictvím registrů služby Azure Machine Learning. Umožňují přístup s prioritou ML k hostování a distribuci prostředků strojového učení, jako jsou váhy modelů, kontejnery runtime pro spouštění modelů, datové toky pro vyhodnocování a ladění modelů a datové sady pro srovnávací testy a ukázky. Tyto registry ML vycházejí z vysoce škálovatelné a podnikové infrastruktury, která:

Nasazení modelů pro odvozování se spravovanými výpočetními prostředky

Nasaďte modely dostupné pro nasazení se spravovanými výpočetními prostředky do online koncových bodů služby Azure Machine Learning pro inference v reálném čase nebo je použijte pro dávkovou inference služby Azure Machine Learning k dávkovému zpracování vašich dat. Nasazení do spravovaného výpočetního prostředí vyžaduje kvótu virtuálních počítačů ve vašem předplatném Azure pro konkrétní skladové položky potřebné k optimálnímu spuštění modelu. Některé modely umožňují nasadit dočasně sdílenou kvótu pro testování modelu. Další informace o nasazování modelů:

Vytváření aplikací generující AI se spravovanými výpočetními prostředky

Tok instrukcí nabízí možnosti pro vytváření prototypů, experimentování, iterace a nasazování aplikací AI. Pomocí nástroje LLM, který podporuje všechny modely dostupné prostřednictvím rozhraní API pro odvozování modelů Azure AI, můžete použít modely nasazené se spravovanými výpočetními prostředky v toku výzvy. Rozhraní REST API vystavené spravovanými výpočetními prostředky můžete použít také v oblíbených nástrojích LLM, jako je LangChain, s balíčkem langchain-azure-ai.

Zabezpečení obsahu pro modely nasazené jako spravované výpočetní prostředky

Bezpečnost obsahu Azure AI je k dispozici pro použití s modely nasazenými ve spravovaném výpočetním prostředí za účelem filtrování různých kategorií škodlivého obsahu, jako je sexuální obsah, násilí, nenávist a sebepoškozování, a pokročilých hrozeb, jako jsou rizika jailbreaku a chráněné materiály detekce. Pomocí nástroje Content Safety (Text) v toku výzvy můžete předávat odpovědi modelu do Bezpečnost obsahu Azure AI pro kontrolu, nebo se přímo integrovat pomocí rozhraní API Bezpečnost obsahu Azure AI. Za toto použití se vám účtují samostatně podle cen Bezpečnost obsahu Azure AI.

Bezserverová nasazení

Určité modely můžete v katalogu modelů nasadit jako bezserverová nasazení. Microsoft hostuje modely ve spravované infrastruktuře, což umožňuje přístup založený na rozhraní API k modelu poskytovatele modelu. Přístup založený na rozhraní API může výrazně snížit náklady na přístup k modelu a výrazně zjednodušit prostředí zřizování. Většina bezserverových nasazení používá ceny založené na tokenech.

Jak jsou modely jiných společností než Microsoft zpřístupněné jako bezserverová nasazení?

Diagram zobrazující cyklus služby nakladatele modelu.

Poskytovatelé modelů nabízejí modely pro bezserverové nasazení, ale Microsoft je hostuje v infrastruktuře Azure a poskytuje přístup prostřednictvím rozhraní API. Poskytovatelé modelů nastavují licenční podmínky a cenu svých modelů. Služba Azure Machine Learning spravuje infrastrukturu hostování, zpřístupňuje rozhraní API pro odvozování a funguje jako zpracovatel dat pro výzvy odeslané a výstup obsahu podle modelů nasazených jako bezserverová nasazení. Další informace o zpracování dat najdete v článku o ochraně osobních údajů .

Poznámka:

Předplatná CSP (Cloud Solution Provider) nemůžou kupovat standardní modely nasazení.

Fakturování

Portál Foundry a Azure Machine Learning Studio poskytují prostředí zjišťování, předplatného a spotřeby pro modely nasazené jako bezserverová nasazení. Uživatelé přijímají licenční podmínky pro použití modelů. Informace o cenách pro spotřebu se poskytují během nasazování.

Platíte za modely od poskytovatelů jiných společností než Microsoft prostřednictvím Azure Marketplace v souladu s podmínkami použití komerčního marketplace Microsoftu.

Za modely od Microsoftu platíte prostřednictvím billingových meterů Azure jako služby první strany pro spotřebu. Jak je popsáno v podmínkách produktu, zakoupíte služby Consumption Services první strany pomocí měřičů Azure, ale tyto služby se nevztahují na podmínky služeb Azure. Použití těchto modelů podléhá zadaným licenčním podmínkám.

Jemné ladění modelů

U modelů dostupných jako bezserverová nasazení, která podporují jemné ladění, můžete využít hostované vyladění a přizpůsobit modely pomocí vlastních dat. Další informace najdete v tématu vyladění modelů na portálu Foundry.

RAG s modely nasazenými jako standardní konfigurace

Foundry umožňuje uživatelům používat vektorové indexy a rozšířené generování načítání. Modely, které nasadíte jako standardní nasazení, můžete použít ke generování vkládání a odvozování na základě vlastních dat a generovat odpovědi specifické pro váš případ použití. Další informace najdete v tématu Načítání rozšířené generace a indexů.

Regionální dostupnost nabídek a modelů

Uživatelé mají přístup k bezserverovým nasazením jenom v případě, že jejich předplatné Azure patří k fakturačnímu účtu v zemi nebo oblasti, kde poskytovatel modelu nabídku zpřístupní. Pokud je nabídka dostupná v příslušné oblasti, musí mít uživatel centrum nebo projekt v oblasti Azure, kde je model k dispozici pro nasazení nebo vyladění podle potřeby. Podrobné informace najdete v tématu Dostupnost oblastí pro modely ve standardních nasazeních.

Bezpečnost obsahu pro modely nasazené prostřednictvím standardních implementací

Důležité

Tato funkce je aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti.

Další informace najdete v tématu Supplementální podmínky použití pro Microsoft Azure Preview.

U jazykových modelů nasazených prostřednictvím bezserverového rozhraní API Azure AI implementuje výchozí konfiguraci Bezpečnost obsahu Azure AI filtry moderování textu, které detekují škodlivý obsah, jako je nenávist, sebepoškozování, sexuální a násilné obsah. Další informace o filtrování obsahu najdete v článku Ochranná opatření a mechanismy řízení pro modely nabízené v Azure.

Návod

Filtrování obsahu není k dispozici pro určité typy modelů nasazené prostřednictvím bezserverového rozhraní API. Mezi tyto typy modelů patří vkládání modelů a modelů časových řad.

Filtrování obsahu probíhá synchronně, když služba zpracovává zadání k vygenerování obsahu. Může vám být účtováno samostatně podle cen Bezpečnost obsahu Azure AI za takové použití. Filtrování obsahu pro jednotlivé koncové body bez serveru můžete zakázat:

  • V době, kdy poprvé nasadíte jazykový model
  • Později výběrem přepínače filtrování obsahu na stránce podrobností nasazení

Předpokládejme, že se rozhodnete použít jiné rozhraní API než Azure OpenAI SDK s rozhraními API Azure OpenAI v1 pro práci s modelem nasazeným prostřednictvím bezserverového rozhraní API. V takové situaci není filtrování obsahu povolené, pokud ho neimplementujete samostatně pomocí Bezpečnost obsahu Azure AI.

Abyste mohli začít s Bezpečnost obsahu Azure AI, přečtěte si téma Quickstart: Analýza textového obsahu. Pokud při práci s modely nasazenými prostřednictvím bezserverového rozhraní API nepoužíváte filtrování obsahu, můžete uživatelům vystavit škodlivý obsah.

Síťová izolace pro modely nasazené standardními nasazeními

Koncové body pro modely nasazené jako standardní deploymenty se řídí nastavením příznaku PNA (Public Network Access) pracovního prostoru, ve kterém nasazení existuje. Pokud chcete zabezpečit koncový bod bezserverového nasazení, zakažte ve svém pracovním prostoru příznak PNA. Příchozí komunikaci z klienta do koncového bodu můžete zabezpečit pomocí privátního koncového bodu pro pracovní prostor.

Nastavení příznaku PNA pro pracovní prostor:

  • Přejděte na Azure portal.
  • Vyhledejte Azure Machine Learning a ze seznamu pracovních prostorů vyberte svůj pracovní prostor.
  • Na stránce Přehled přejděte v levém podokně na Nastavení>sítě.
  • Na kartě Veřejný přístup nakonfigurujte nastavení příznaku přístupu k veřejné síti.
  • Uložte změny. Může trvat až pět minut, než se vaše změny projeví.

Omezení

  • Pokud máte pracovní prostor s privátním koncovým bodem vytvořeným před 11. červencem 2024, nové koncové body nasazení bez serveru přidané do tohoto pracovního prostoru nedodržují konfiguraci sítě. Místo toho musíte vytvořit nový privátní koncový bod pro pracovní prostor a vytvořit nová bezserverová nasazení v pracovním prostoru, aby nová nasazení mohly postupovat podle konfigurace sítě pracovního prostoru.
  • Pokud máte pracovní prostor s bezserverovými nasazeními vytvořenými před 11. červencem 2024 a v tomto pracovním prostoru povolíte privátní koncový bod, stávající bezserverová nasazení nedodržují konfiguraci sítě pracovního prostoru. Aby byla bezserverová nasazení v pracovním prostoru v souladu s požadavky sítí, musíte nasazení vytvořit znovu.
  • V současné době není podpora pro službu On Your Data dostupná v bezserverových nasazeních v soukromých pracovních prostorech, protože soukromé pracovní prostory mají zakázaný příznak PNA.
  • Jakákoli změna konfigurace sítě (například povolení nebo zakázání příznaku PNA) se může projevit až po pěti minutách.

Související obsah

  • Last updated on