Přehled modelů Microsoft Foundry

Microsoft Foundry Models je vaším jediným místem pro objevování, hodnocení a nasazování výkonných modelů AI – ať už vytváříte vlastní kopilota, agenta, vylepšujete stávající aplikaci nebo zkoumáte nové schopnosti AI.

S modelem Foundry můžete:

• Prozkoumejte bohatý katalog špičkových modelů z Microsoft, OpenAI, DeepSeek, Hugging Face, Meta a dalších.
• Porovnejte a vyhodnoťte modely vedle sebe pomocí úloh z reálného světa a vlastních dat.
• Nasazení s jistotou díky integrovaným nástrojům pro vyladění, pozorovatelnost a zodpovědnou AI
• Zvolte si cestu – přineste si vlastní model, použijte hostovaný model nebo bezproblémovou integraci s Azure službami.

Ať už jste vývojář, datový vědec nebo podnikový architekt, Foundry Models vám dává flexibilitu a kontrolu nad vytvářením řešení AI, která se škálují – bezpečně, zodpovědně a rychle.

Foundry nabízí komplexní katalog modelů AI. Existuje více než 1 900 modelů, které se liší od základních modelů, zdůvodnění modelů, malých jazykových modelů, multimodálních modelů, modelů specifických pro doménu a oborových modelů.

Katalog modelů je uspořádaný do dvou hlavních kategorií:

• Foundry Models prodávané společností Azure
• Modely od partnerů a komunity

Pochopení rozdílu mezi těmito kategoriemi vám pomůže vybrat si správné modely pro vaše konkrétní požadavky a strategické cíle.

Poznámka

U všech modelů zůstávají zákazníci zodpovědní za:

• Dodržování právních předpisů při jejich používání libovolného modelu nebo systému
• Kontrola popisů modelů v katalogu modelů, karet modelu zpřístupněných poskytovatelem modelu a další relevantní dokumentace
• Výběr vhodného modelu pro případ použití
• Implementace vhodných opatření (včetně použití Bezpečnost obsahu Azure AI) k zajištění toho, aby používání nástrojů Foundry bylo v souladu se zásadami přijatelného použití v podmínkách produktu Microsoft a Kodexem chování pro podnikové AI služby Microsoft.

Modely prodané Azure

Tyto modely se také označují jako Azure Direct modely nebo Directně z Azure modely a jsou hostované a prodávané Microsoftem v rámci Podmínek produktu společnosti Microsoft. Microsoft tyto modely vyhodnotily a jsou hluboce integrované do ekosystému AI Azure. Modely pocházejí z různých poskytovatelů a nabízejí vylepšenou integraci, optimalizovaný výkon a přímou podporu Microsoft, včetně smluv o úrovni služeb na podnikové úrovni(SLA).

Charakteristiky modelů prodaných Azure:

• Podpora dostupná v Microsoft.
• Vysoká úroveň integrace se službami a infrastrukturou Azure.
• Podléhá interní kontrole podle standardů zodpovědné AI společnosti Microsoft.
• Sestavy dokumentace k modelům a přehledy transparentnosti poskytují zákazníkům pohled na modelová rizika, jejich zmírnění a omezení.
• Škálovatelnost, spolehlivost a zabezpečení na podnikové úrovni

Některé z těchto modelů nabízejí také flexibilní zřízenou propustnost, což znamená, že můžete flexibilně využívat svou kvótu napříč kterýkoli z těchto modelů. Informace o tom, jak Foundry zpracovává data, která poskytujete modelům Foundry prodaných Azure, najdete v tématu Data, ochrana osobních údajů a zabezpečení modelů prodaných Azure v Microsoft Foundry.

Modely od partnerů a komunity

Tyto modely představují velkou většinu modelů Foundry a poskytují je důvěryhodné třetí strany, partneři, výzkumné laboratoře a přispěvatelé komunity. Tyto modely nabízejí specializované a různorodé funkce umělé inteligence, které pokrývají širokou škálu scénářů, odvětví a inovací. Příklady modelů od partnerů a komunity jsou řada velkých jazykových modelů vyvinutých Anthropic a modely Open z centra Hugging Face hub.

Anthropic zahrnuje claudovou rodinu nejmodernějších velkých jazykových modelů, které podporují zadávání textu a obrázků, textový výstup, vícejazyčné funkce a vizi. Pro pomoc s modely Anthropic použijte podpora Microsoftu. Další informace o ochraně osobních údajů najdete v tématu Data, ochrana osobních údajů a zabezpečení pro modely Claude v Microsoft Foundry (Preview). Podmínky, které řídí zpracování dat, najdete v článku Doplňky ke zpracování dat Anthropic a Komerční podmínky služby Anthropic. Informace o práci s Anthropic modely najdete v tématu Nasazení a použití modelů Claude v Microsoft Foundry.

Hugging Face Hub zahrnuje stovky modelů pro odvozování ve spravovaném výpočetním prostředí v reálném čase. Hugging Face vytváří a udržuje modely uvedené v této kolekci. Pokud potřebujete pomoc s modely Hugging Face, použijte fórum Hugging Face nebo podporu Hugging Face. Zjistěte, jak nasadit modely Hugging Face v tématu Nasazení a odvození pomocí spravovaného výpočetního nasazení (Classic).

Důležité

Pokud chcete pracovat s modely, které se dají nasadit na spravované výpočetní prostředky, jako jsou modely Hugging Face, použijte na portálu Foundry (classic) projekt založený na centru. Další informace o dostupných portálech Foundry najdete v tématu Co je Microsoft Foundry?.

Charakteristiky modelů od partnerů a komunity:

• Vyvinutá a podporovaná externími partnery a přispěvateli komunity
• Široká škála specializovaných modelů zaměřených na konkrétní trhy nebo široké spektrum využití
• Poskytovatelé obvykle sami provádějí ověření a pokyny pro integraci poskytuje Azure.
• Inovace řízené komunitou a rychlá dostupnost špičkových modelů
• Standardní integrace Azure AI s podporou a údržbou spravovanou příslušnými poskytovateli

Modely od partnerů a komunity se dají nasadit pomocí spravovaných výpočetních nebo bezserverových možností nasazení . Poskytovatel modelu vybere způsob nasazení modelů. Další informace o typech nasazení dostupných v rámci bezserverové možnosti nasazení najdete v tématu Typy nasazení pro Microsoft Foundry Models.

Žádost o zahrnutí modelu do katalogu modelů

Požádejte o přidání modelu do katalogu modelů přímo ze stránky katalogu modelů na portálu Foundry.

1. Přejděte na stránku katalogu modelů.
2. Na panelu hledání vyhledejte model, který v katalogu neexistuje, například mymodel.
3. Klikněte na Požádat o model pro sdílení podrobností o modelu, který chcete vyžádat.

Volba mezi modely, které prodává Azure a Modely od partnerů a komunity

Při výběru modelů Foundry, které se mají použít, zvažte následující:

• Použití případu a požadavků: Modely prodané Azure jsou ideální pro scénáře vyžadující hlubokou integraci Azure, garantovanou podporu a smlouvy SLA pro podniky. Modely od partnerů a komunity excelují ve specializovaných případech použití a scénářích zaměřených na inovace.
• Podporovaná očekávání: Modely prodané Azure mají robustní podporu a údržbu poskytovanou Microsoft. Modely partnerů a komunit jsou podporovány jejich poskytovateli s různými úrovněmi smluv SLA a podpůrných struktur.
• Inovace a specializace: Modely od partnerů a komunity nabízejí rychlý přístup ke specializovaným inovacím a niche schopnostem, často vyvinuté předními výzkumnými laboratořemi a novými poskytovateli umělé inteligence.

Přehled možností katalogu modelů

Katalog modelů na portálu Foundry je centrem pro zjišťování a používání široké škály modelů k vytváření generování aplikací AI. Katalog modelů obsahuje stovky modelů od poskytovatelů, jako Azure OpenAI, Mistral, Meta, Cohere, NVIDIA a Hugging Face, včetně modelů, které Microsoft trénoval. Modely od jiných poskytovatelů než Microsoft jsou produkty, které nejsou Microsoft definované v Microsoft Podmínkách produktu a podléhají podmínkám poskytovaným s modely.

Vyhledávání a zjišťování modelů, které vyhovují vašim potřebám, prostřednictvím vyhledávání klíčových slov a filtrů Katalog modelů také nabízí tabulku výsledků výkonu modelu a metriky srovnávacích testů pro vybrané modely. Přístup k nim můžete získat výběrem Zobrazit tabulku výsledků a Porovnat modely. Data srovnávacích testů jsou také k dispozici na kartě Srovnávací testy modelu.

Mezi filtry dostupné v katalogu modelů patří:

• Kolekce: Filtrujte modely založené na kolekci zprostředkovatele modelu.
• Odvětví: Filtrujte modely, které jsou natrénované na datové sadě specifické pro konkrétní odvětví.
• Možnosti: Filtrování jedinečných funkcí modelu, jako jsou důvodování a volání nástrojů
• Úkoly odvozování: Filtrujte modely na základě typu odvozování úkolu.

Mezi podrobnosti, které jsou k dispozici na kartě modelu , patří:

• Rychlá fakta: Klíčové informace o modelu v rychlém přehledu
• Karta Podrobnosti : Podrobné informace o modelu, například popis, informace o verzi a podporovaný datový typ
• Karta Výkonnostní testy: Výkonnostní metriky benchmarků pro vybrané modely
• Karta Nasazení : Seznam existujících nasazení pro model
• Karta Licence : Právní informace související s licencováním modelu

Možnosti nasazení modelu: spravovaná výpočetní a bezserverová nasazení

Katalog modelů nabízí dvě různé možnosti nasazení modelů pro vaše použití: spravovaná výpočetní a bezserverová nasazení. Další informace o zpracování dat pomocí možností nasazení najdete v tématu Data, ochrana osobních údajů a zabezpečení pro použití modelů prostřednictvím katalogu modelů na portálu Microsoft Foundry (classic). Informace o tom, jak Foundry zpracovává data, která poskytujete modelům Foundry prodaných Azure, najdete v tématu Data, ochrana osobních údajů a zabezpečení modelů prodaných Azure v Microsoft Foundry.

Možnosti nasazení modelu

Možnosti nasazení a funkce dostupné pro jednotlivé modely se liší, jak je popsáno v následující tabulce:

Funkce	Spravované výpočetní služby	Bezserverové nasazení
Zkušenost s nasazením a fakturace	Váhy modelu se nasazují na vyhrazené virtuální počítače se spravovanými výpočetními prostředky. Spravovaný výpočetní objekt, který může mít jedno nebo více nasazení, zpřístupňuje rozhraní REST API pro odvozování. Jsou vám účtovány hodiny jader virtuálních počítačů, které používají nasazení.	Získejte přístup k modelům prostřednictvím nasazení, které zajišťuje rozhraní API. Rozhraní API poskytuje přístup k modelu, který Microsoft hostuje a spravuje pro inferenci. Fakturujete za vstupy a výstupy rozhraní API, obvykle v tokenech. Informace o cenách jsou k dispozici před nasazením.
Ověřování rozhraní API	Klíče a ověřování Microsoft Entra	Klíče a ověřování Microsoft Entra
Bezpečnost obsahu	Použijte rozhraní API služby Bezpečnost obsahu Azure AI.	Bezpečnost obsahu Azure AI filtry jsou k dispozici integrované s rozhraními API pro odvození. Bezpečnost obsahu Azure AI filtry se účtují samostatně.
Izolace sítě	Konfigurujete spravovanou síť pro Microsoft Foundry Hubs (classic).	Spravované sítě se řídí nastavením příznaku PNA (Public Network Access) pro váš prostředek Foundry. Další informace najdete v části Izolace sítě pro modely nasazené prostřednictvím bezserverových nasazení dále v tomto článku.

Spravované výpočetní služby

Možnost nasazení modelů jako spravovaných výpočetních prostředků vychází z možností platformy Azure Machine Learning umožňující bezproblémovou integraci široké kolekce modelů v katalogu modelů v celém životním cyklu velkých operací jazykového modelu (LLM).

Důležité

Pokud chcete pracovat s modely, které se dají nasadit na spravované výpočetní prostředky, použijte na portálu Foundry (Classic) projekt založený na centru. Další informace o dostupných portálech Foundry najdete v tématu Co je Microsoft Foundry?.

Dostupnost modelů pro implementaci jako spravované výpočetní služby

Modely jsou dostupné prostřednictvím registrů Azure Machine Learning. Tyto registry umožňují přístup založený na strojovém učení na hostování a distribuci prostředků Azure Machine Learning. Mezi tyto prostředky patří váhy modelů, moduly runtime kontejnerů pro spouštění modelů, kanály pro vyhodnocení a vyladění modelů a datové sady pro srovnávací testy a ukázky.

Registry vycházejí z vysoce škálovatelné a podnikové infrastruktury, která:

• Poskytuje přístup k artefaktům modelu s nízkou latencí ve všech Azure oblastech s integrovanou geografickou replikací.

• Podporuje podnikové požadavky na zabezpečení, jako je omezení přístupu k modelům pomocí Azure Policy a zabezpečeného nasazení pomocí spravovaných virtuálních sítí.

Nasazení modelů pro odvozování se spravovanými výpočetními prostředky

Modely dostupné pro nasazení do spravovaného výpočetního prostředí je možné nasadit do Azure Machine Learning spravovaných výpočetních prostředků pro odvozování v reálném čase. Pokud chcete nasadit spravované výpočetní prostředky, potřebujete kvótu virtuálních počítačů ve svém předplatném Azure, aby konkrétní produkty mohly optimálně provozovat model. Některé modely umožňují nasadit dočasně sdílenou kvótu pro testování modelů.

Další informace o nasazování modelů:

• Pokud chcete nasadit otevřené modely do spravovaného výpočetního prostředí, podívejte se na Jak nasadit a spustit s použitím spravovaného výpočetního nasazení (Classic).
• Pokud chcete nasadit chráněné modely Foundry do spravovaného výpočetního prostředí s platbou podle využití, podívejte se na Nasazení modelů Foundry Microsoft do spravovaného výpočetního prostředí s platbou podle využití (classic).

Vytváření aplikací generující AI se spravovanými výpočetními prostředky

Funkce toku prompt v Azure Machine Learning nabízí skvělé prostředí pro vytváření prototypů. Použijte modely nasazené se spravovanými výpočetními prostředky v procesu návrhu s nástrojem Open Model LLM. Rozhraní REST API vystavené spravovanými výpočetními prostředky můžete použít také v oblíbených nástrojích LLM, jako je LangChain, s rozšířením Azure Machine Learning.

Zabezpečení obsahu pro modely nasazené jako spravované výpočetní prostředky

Služba Bezpečnost obsahu Azure AI je k dispozici pro použití s řízenými výpočetními prostředky k analýze různých kategorií škodlivého obsahu, jako je sexuální obsah, násilí, nenávist, sebepoškozování. Službu můžete použít také k zobrazení pokročilých hrozeb, jako je detekce rizik jailbreaku a detekce chráněného textu materiálu.

Referenční integraci s Bezpečnost obsahu Azure AI pro Llama 2 najdete v poznámkovém bloku. Nebo použijte nástroj Bezpečnost obsahu (Text) v rámci toku promptu k předání odpovědí z modelu do Bezpečnost obsahu Azure AI k prověření. Za použití se vám účtuje samostatně, jak je popsáno v cenách Bezpečnost obsahu Azure AI.

Bezserverová nasazení

Bezserverová nasazení poskytují způsob, jak využívat modely Foundry jako rozhraní API bez jejich hostování ve vašem předplatném. Modely se hostují v infrastruktuře spravované Microsoft, která umožňuje přístup k modelu poskytovatele modelu na základě rozhraní API. Přístup založený na rozhraní API může výrazně snížit náklady na přístup k modelu a zjednodušit nastavení.

Modely, které jsou dostupné pro bezserverová nasazení, nabízí poskytovatel modelu, ale jsou hostované v Microsoft spravované infrastruktuře Azure a přístupné přes rozhraní API. Poskytovatelé modelů definují licenční podmínky a nastavují cenu pro použití svých modelů. Služba Azure Machine Learning:

• Spravuje infrastrukturu hostování.
• Zpřístupní inferenční API.
• Funguje jako zpracovatel dat pro odeslané výzvy a generovaný obsah v rámci bezserverových nasazení.

Typy bezserverového nasazení

Možnost bezserverového nasazení pro Foundry Models nabízí dvě hlavní kategorie nasazení: standard (platba za token) a zřízená (rezervovaná kapacita). V rámci každé kategorie můžete na základě požadavků na dodržování předpisů zvolit globální, datovou zónu nebo regionální zpracování.

Mezi dostupné typy nasazení bez serveru patří: Global Standard, Global Provisioned, Global Batch, Data Zone Standard, Data Zone Provisioned, Data Zone Batch, Standard, Regional Provisioned a Developer. Další informace o těchto typech nasazení a o tom, jak vybrat ten správný pro vaše použití, najdete v tématu typy nasazení pro Microsoft Foundry Models.

Fakturace pro bezserverová nasazení

Prostředí vyhledávání, předplatného a spotřeby pro modely nasazené bez serveru najdete na portálu Foundry a v Azure Machine Learning studiu. Uživatelé přijímají licenční podmínky pro použití modelů. Informace o cenách pro spotřebu jsou během nasazení k dispozici.

Modely Foundry od partnerů a komunity jsou účtovány prostřednictvím Azure Marketplace v souladu s podmínkami použití Microsoft Commercial Marketplace.

Modely Foundry prodávané společností Azure se účtují prostřednictvím měřičů služby Azure jako služby spotřeby první strany. Jak je popsáno v Podmínkách produktu, zakoupíte služby pro spotřebu prvních stran pomocí Azure měřidel, avšak na tyto služby se nevztahují podmínky služeb Azure. Použití těchto modelů podléhá zadaným licenčním podmínkám.

Modely pro jemné ladění

Některé modely také podporují jemné ladění. U těchto modelů můžete pomocí spravovaných výpočetních nebo bezserverových nasazení jemně doladit modely pomocí dat, která zadáte. Další informace najdete v tématu Ladění modelů s Microsoft Foundry (classic).

RAG s modely nasazenými jako bezserverová řešení

Na portálu Foundry použijte vektorové indexy a generaci s rozšířeným načítáním (RAG) s modely nasazenými bezserverově k vygenerování vnoření a inference na základě vlastních dat. Tyto vkládání a odvozování pak můžou generovat odpovědi specifické pro váš případ použití. Další informace najdete v tématu Vytvoření a používání vektorových indexů na portálu Microsoft Foundry (classic).

Regionální dostupnost nabídek a modelů

Fakturace podle počtu tokenů je dostupná pouze uživatelům, jejichž předplatné Azure patří k fakturačnímu účtu v zemi nebo oblasti, kde poskytovatel modelu učinil nabídku dostupnou. Pokud je nabídka dostupná v příslušné oblasti, uživatel musí mít zdroj projektu v Azure oblasti, kde je model k dispozici pro nasazení nebo vyladění podle potřeby. Podrobné informace najdete v tématu Dostupnost oblastí pro modely v bezserverových nasazeních (Classic).

Bezpečnost obsahu pro modely nasazené prostřednictvím bezserverových nasazení

U jazykových modelů nasazených prostřednictvím bezserverového rozhraní API Azure AI implementuje výchozí konfiguraci Bezpečnost obsahu Azure AI filtry moderování textu, které detekují škodlivý obsah, jako je nenávist, sebepoškozování, sexuální a násilné obsah. Další informace o filtrování obsahu najdete v článku Ochranná opatření a mechanismy řízení pro modely nabízené v Azure.

Tip

Filtrování obsahu není k dispozici pro určité typy modelů nasazené prostřednictvím bezserverového rozhraní API. Mezi tyto typy modelů patří vkládání modelů a modelů časových řad.

Filtrování obsahu probíhá synchronně, když služba zpracovává příkazy k vygenerování obsahu. Může vám být účtováno samostatně podle cen Bezpečnost obsahu Azure AI pro takové použití. Filtrování obsahu pro jednotlivé koncové body bez serveru můžete zakázat:

• V době, kdy poprvé nasadíte jazykový model
• Později výběrem přepínače filtrování obsahu na stránce podrobností nasazení

Předpokládejme, že se rozhodnete použít jiné rozhraní API než rozhraní API pro odvozování modelů pro práci s modelem nasazeným prostřednictvím bezserverového rozhraní API. V takové situaci není filtrování obsahu povolené, pokud ho neimplementujete samostatně pomocí Bezpečnost obsahu Azure AI.

Pokud chcete začít s Bezpečnost obsahu Azure AI, přečtěte si téma Quickstart: Analýza textového obsahu. Pokud při práci s modely nasazenými prostřednictvím bezserverového rozhraní API nepoužíváte filtrování obsahu, můžete uživatelům vystavit škodlivý obsah.

Izolace sítě pro modely nasazené prostřednictvím bezserverových nasazení

Koncové body pro modely nasazené bezserverově se řídí nastavením příznaku přístupu k veřejné síti centra Foundry, které obsahuje projekt s daným nasazením. Pokud chcete zajistit bezserverové nasazení, zakažte příznak veřejného přístupu k síti v centru Foundry. Můžete pomoct zabezpečit příchozí komunikaci z klienta do koncového bodu pomocí privátního koncového bodu pro centrum.

Nastavení příznaku přístupu k veřejné síti pro centrum Foundry:

1. Přejděte na portál Azure.
2. Vyhledejte skupinu prostředků, do které centrum patří, a vyberte centrum Foundry z prostředků uvedených pro tuto skupinu prostředků.
3. Na stránce přehledu centra v levém podokně přejděte na Nastavení>sítě.
4. Na kartě Veřejný přístup nakonfigurujte nastavení příznaku přístupu k veřejné síti.
5. Uložte změny. Rozšíření změn může trvat až pět minut.

Omezení

• Pokud máte centrum Foundry s privátním koncovým bodem vytvořeným před 11. červencem 2024, nasazení bez serveru přidaná do projektů v tomto centru nebudou dodržovat konfiguraci sítě centra. Místo toho vytvořte nový privátní koncový bod pro centrum a nové nasazení bez serveru v projektu, aby nová nasazení mohly postupovat podle konfigurace sítě centra.

• Pokud máte centrum Foundry s bezserverovými nasazeními vytvořenými před 11. červencem 2024 a povolíte privátní koncový bod v tomto centru, stávající bezserverová nasazení nebudou dodržovat konfiguraci sítě centra. Aby bezserverová nasazení v centru postupovala podle konfigurace sítě centra, vytvořte nasazení znovu.

• V současné době není podpora Azure OpenAI On Your Data dostupná pro bezserverová nasazení v privátních centrech, protože privátní centra mají zakázaný příznak přístupu k veřejné síti.

• Provedení jakékoli změny konfigurace sítě, například povolení nebo zakázání příznaku přístupu k veřejné síti, může trvat až pět minut.  

Životní cyklus modelu: deprecace a odstranění

Modely AI se rychle vyvíjejí a jakmile budou k dispozici nové verze nebo nový model s aktualizovanými funkcemi ve stejné rodině modelů, můžou být starší modely vyřazeny z katalogu modelů Foundry. Pokud chcete umožnit hladký přechod na novější verzi modelu, některé modely umožňují uživatelům povolit automatické aktualizace. Další informace o životním cyklu modelů různých modelů, nadcházejících datech vyřazení modelu a navrhovaných náhradních modelech a verzích najdete tady:

• Azure OpenAI a ukončení podpory modelů a vyřazení ve Foundry Microsoftu
• Opouštění a vyřazení modelů Microsoft Foundry

Související obsah

• Okamžitý přístup k modelům v Microsoft Foundry (Preview)
• Data, ochrana osobních údajů a zabezpečení modelů prodávaných prostřednictvím Azure v Microsoft Foundry
• Data, ochrana osobních údajů a zabezpečení pro použití modelů prostřednictvím katalogu modelů na portálu Microsoft Foundry (classic)