Prozkoumání modelů Microsoft Foundry

Poznámka:

Tento dokument se týká portálu Microsoft Foundry (Classic).

🔍Informace o novém portálu najdete v dokumentaci k Microsoft Foundry (nové).

Microsoft Foundry Models je vaším jediným místem pro objevování, vyhodnocování a nasazování výkonných modelů AI – ať už vytváříte vlastního pomocníka, vytváříte agenta, vylepšujete stávající aplikaci nebo zkoumáte nové schopnosti AI.

S modelem Foundry můžete:

• Prozkoumejte bohatý katalog špičkových modelů od Microsoftu, OpenAI, DeepSeek, Hugging Face, Meta a další.
• Porovnejte a vyhodnoťte modely vedle sebe pomocí úloh z reálného světa a vlastních dat.
• Nasazení s jistotou díky integrovaným nástrojům pro vyladění, pozorovatelnost a zodpovědnou AI
• Zvolte si cestu – přineste si vlastní model, použijte hostovaný model nebo bezproblémovou integraci se službami Azure.
• Ať už jste vývojář, datový vědec nebo podnikový architekt, Foundry Models vám dává flexibilitu a kontrolu nad vytvářením řešení AI, která se škálují – bezpečně, zodpovědně a rychle.

Foundry nabízí komplexní katalog modelů AI. Existuje více než 1900 modelů, od základních modelů po modely pro odvozování, malé jazykové modely, multimodální modely, doménové specifické modely, průmyslové modely a další.

Náš katalog je uspořádaný do dvou hlavních kategorií:

• Modely prodané přímo v Azure
• Modely od partnerů a komunity

Pochopení rozdílu mezi těmito kategoriemi vám pomůže zvolit správné modely na základě vašich konkrétních požadavků a strategických cílů.

Poznámka:

• U všech modelů zůstávají zákazníci zodpovědní za (i) dodržování právních předpisů při jejich používání jakéhokoli modelu nebo systému; ii) kontrola popisů modelů v katalogu modelů, karet modelů zpřístupněných poskytovatelem modelu a další relevantní dokumentace; (iii) výběrem vhodného modelu pro jejich případ použití a (iv) implementací vhodných opatření (včetně použití bezpečnosti obsahu Azure AI) k zajištění toho, aby používání nástrojů Foundry zákazníka odpovídalo zásadám přijatelného použití v podmínkách produktu společnosti Microsoft a pravidla chování služeb Microsoft Enterprise AI Services.

Modely prodané přímo v Azure

Jedná se o modely hostované a prodávané společností Microsoft v rámci podmínek pro produkty společnosti Microsoft. Microsoft tyto modely vyhodnotil a jsou hluboce integrované do ekosystému AI Azure. Modely pocházejí z různých poskytovatelů a nabízejí vylepšenou integraci, optimalizovaný výkon a přímou podporu Microsoftu, včetně smluv o úrovni služeb na podnikové úrovni (SLA).

Charakteristiky modelů prodaných přímo v Azure:

• Podpora dostupná od Microsoftu.
• Vysoká úroveň integrace se službami a infrastrukturou Azure.
• Na základě interní kontroly na základě standardů Zodpovědné AI od Microsoftu.
• Sestavy dokumentace k modelům a sestavy transparentnosti poskytují přehled o modelových rizicích, zmírněních rizik a omezeních.
• Škálovatelnost, spolehlivost a zabezpečení na podnikové úrovni

Některé ztěchtochm modelům mají také výhodu zastupované zřízené propustnosti, což znamená, že v některém z těchto modelů můžete flexibilně využívat kvótu a rezervace.

Modely od partnerů a komunity

Tyto modely tvoří velkou většinu modelů Foundry a jsou poskytovány důvěryhodnými organizacemi třetích stran, partnery, výzkumnými laboratořemi a přispěvateli komunity. Tyto modely nabízejí specializované a různorodé funkce umělé inteligence, které pokrývají širokou škálu scénářů, odvětví a inovací. Příklady modelů od partnerů a komunity jsou rodina velkých jazykových modelů vyvinutých anthropicem a otevřenými modely z centra Hugging Face.

Anthropic zahrnuje rodinu nejmodernějších velkých jazykových modelů Claude, které podporují zadávání textu a obrázků, textový výstup, vícejazyčné schopnosti a vizuální funkce. Pokud potřebujete pomoc s modely Anthropic, použijte podporu Microsoftu. Další informace o ochraně osobních údajů, použití zásad ochrany osobních údajů Anthropic a pro podmínky služby najdete v tématu Komerční podmínky služby. Informace o tom, jak pracovat s modely Anthropic, najdete v tématu Nasazení a použití modelů Claude v Microsoft Foundry.

Hugging Face Hub zahrnuje stovky modelů pro odvozování ve spravovaném výpočetním prostředí v reálném čase. Hugging Face vytváří a udržuje modely uvedené v této kolekci. Pokud potřebujete pomoc s modely Hugging Face, použijte fórum Hugging Face nebo podporu Hugging Face. Naučte se nasazovat modely Hugging Face v nasazení otevřených modelů pomocí Microsoft Foundry.

Charakteristiky modelů od partnerů a komunity:

• Vyvinutá a podporovaná externími partnery a přispěvateli komunity
• Široká škála specializovaných modelů zaměřených na specifické nebo široké případy použití
• Ověřování obvykle provádějí sami poskytovatelé a pokyny pro integraci poskytuje Azure.
• Inovace řízené komunitou a rychlá dostupnost špičkových modelů
• Standardní integrace Azure AI s podporou a údržbou spravovanou příslušnými poskytovateli

Modely od partnerů a komunity se dají nasadit jako možnosti nasazení spravovaného výpočetního prostředí nebo bezserverového rozhraní API. Poskytovatel modelu vybere způsob nasazení modelů.

Žádost o zahrnutí modelu do katalogu modelů

Můžete požádat, abychom do katalogu modelů přidali model přímo ze stránky katalogu modelů na portálu Foundry. Na panelu hledání na stránce katalogu modelů hledání modelu, který v katalogu neexistuje, například mymodel, vrátí tlačítko Požadavek na model . Výběrem tohoto tlačítka otevřete formulář, ve kterém můžete sdílet podrobnosti o modelu, který požadujete.

Volba mezi přímými modely a partnerskými a komunitními modely

Při výběru modelů z Foundry Models zvažte následující:

• Případ použití a požadavky: Modely prodané přímo v Azure jsou ideální pro scénáře vyžadující hlubokou integraci Azure, garantovanou podporu a smlouvy SLA pro podniky. Modely od partnerů a komunity vynikají ve specializovaných případech použití a scénářích zaměřených na inovace.
• Očekávání podpory: Modely prodané přímo v Azure mají robustní podporu a údržbu od Microsoftu. Tyto modely podporují jejich poskytovatelé s různými úrovněmi smluv SLA a podpůrných struktur.
• Inovace a specializace: Modely od partnerů a komunity nabízejí rychlý přístup ke specializovaným inovacím a specializovaným schopnostem, které jsou často vyvíjeny špičkovými výzkumnými laboratořemi a emergujícími poskytovateli umělé inteligence.

Přehled možností katalogu modelů

Katalog modelů na portálu Foundry je centrum pro zjišťování a používání široké škály modelů pro vytváření aplikací generující AI. Katalog modelů nabízí stovky modelů napříč poskytovateli modelů, jako jsou Azure OpenAI, Mistral, Meta, Cohere, NVIDIA a Hugging Face, včetně modelů, které Microsoft natrénoval. Modely od jiných poskytovatelů společnosti Microsoft jsou produkty jiné společnosti než Microsoft, jak jsou definovány v podmínkách produktů společnosti Microsoft a podléhají podmínkám poskytovaným s modely.

Modely, které vyhovují vašim potřebám, můžete vyhledávat a objevovat prostřednictvím hledání klíčových slov a filtrů. Katalog modelů také nabízí tabulku výsledků výkonu modelu a metriky srovnávacích testů pro vybrané modely. K nim můžete získat přístup tak, že vyberete Procházet tabulku výsledků a porovnat modely. Data srovnávacího testu jsou také přístupná na kartě Srovnávací test v kartě Model.

V filtrech katalogu modelů najdete:

• Kolekce: Modely můžete filtrovat na základě kolekce zprostředkovatele modelu.
• Odvětví: Můžete filtrovat modely, které jsou natrénované na oborové datové sadě.
• Možnosti: Můžete filtrovat jedinečné funkce modelu, jako jsou odůvodnění a volání nástrojů.
• Možnosti nasazení: Můžete filtrovat modely, které podporují konkrétní možnosti nasazení.
  • bezserverové rozhraní API: Tato možnost umožňuje platit za volání rozhraní API.
  • Připraveno: nejvhodnější pro bodování v reálném čase pro velké a stabilní objemy.
  • Batch: Nejvhodnější pro dávkové úlohy s optimalizovanými náklady, nikoli latencí. Pro dávkové nasazení se neposkytuje žádná podpora dětského hřiště.
  • Spravované výpočetní prostředky: Tato možnost umožňuje nasadit model na virtuální počítač Azure. Za hostování a odvozování se vám budou účtovat poplatky.
• Úkoly odvozování: Modely můžete filtrovat na základě typu odvozování úkolu.
• Vyladění úkolů: Modely můžete filtrovat podle typu úkolu pro vyladění.
• Licence: Modely můžete filtrovat podle typu licence.

Na kartě modelu najdete:

• Rychlá fakta: V rychlém přehledu uvidíte klíčové informace o modelu.
• Podrobnosti: Tato stránka obsahuje podrobné informace o modelu, včetně popisu, informací o verzi, podporovaného datového typu atd.
• Srovnávací testy: Najdete metriky srovnávacích testů výkonu pro vybrané modely.
• Existující nasazení: Pokud jste už model nasadili, najdete ho na kartě Existující nasazení.
• Licence: Najdete právní informace týkající se licencování modelu.
• Artefakty: Tato záložka bude zobrazena pouze u otevřených modelů. Můžete zobrazit materiály modelu a stáhnout je pomocí uživatelského rozhraní.

Nasazení modelu: Nasazení spravovaného výpočetního prostředí a bezserverového rozhraní API

Kromě nasazení do Azure OpenAI nabízí katalog modelů dva různé způsoby nasazení modelů pro vaše použití: spravovaná výpočetní a bezserverová nasazení rozhraní API.

Možnosti nasazení a funkce dostupné pro každý model se liší, jak je popsáno v následujících tabulkách. Přečtěte si další informace o zpracování dat pomocí možností nasazení.

Možnosti nasazení modelu

Vlastnosti	Spravovaný výpočetní výkon	nasazení bezserverového rozhraní API
Prostředí nasazení a fakturace	Váhy modelu se nasazují na vyhrazené virtuální počítače se spravovaným výpočetním výkonem. Spravovaný výpočetní objekt, který může mít jedno nebo více nasazení, zpřístupňuje rozhraní REST API pro odvozování. Účtuje se vám doba jádra virtuálního počítače, kterou nasazení používají.	Přístup k modelům probíhá prostřednictvím nasazení, které zřídí rozhraní API pro přístup k modelu. Rozhraní API poskytuje přístup k modelu, který Microsoft hostuje a spravuje, pro odvozování. Fakturujete za vstupy a výstupy rozhraní API, obvykle v tokenech. Informace o cenách jsou k dispozici před nasazením.
Ověřování API	Klíče a ověřování Microsoft Entra	Jenom klíče.
Bezpečnost obsahu	Používejte rozhraní API služby Azure AI Content Safety.	Filtry zabezpečení obsahu Azure AI jsou k dispozici integrované s rozhraními API pro odvození. Filtry zabezpečení obsahu Azure AI se účtují samostatně.
Izolace sítě	Konfigurace spravovaných sítí pro centra Foundry	Spravované výpočetní služby se řídí nastavením příznaku PNA (Veřejný přístup do sítě) vašeho hubu. Další informace najdete v části Izolace sítě pro modely nasazené prostřednictvím nasazení bezserverového rozhraní API dále v tomto článku.

Dostupné modely pro podporované možnosti nasazení

Modely Azure OpenAI najdete v tématu Azure OpenAI.

Pokud chcete zobrazit seznam podporovaných modelů pro nasazení bezserverového rozhraní API nebo spravované výpočetní prostředky, přejděte na domovskou stránku katalogu modelů v Foundry. Pomocí filtru možností nasazení vyberte buď nasazení bezserverového rozhraní API , nebo spravované výpočetní prostředky.

Životní cyklus modelu: ukončení podpory a vyřazení

Modely AI se rychle vyvíjejí a když se zpřístupní nová verze nebo nový model s aktualizovanými funkcemi ve stejné rodině modelů, starší modely se můžou v katalogu modelů Foundry vyřadit. Pokud chcete umožnit hladký přechod na novější verzi modelu, některé modely poskytují uživatelům možnost povolit automatické aktualizace. Další informace o životním cyklu modelu různých modelů, nadcházejících datech vyřazení modelu a navrhovaných náhradních modelech a verzích najdete tady:

• Ukončení podpory a vyřazení modelů Azure OpenAI
• Zastarání a vyřazení modelu nasazení rozhraní API bez serveru

Spravovaný výpočetní výkon

Možnost nasazení modelů jako spravovaných výpočetních prostředků vychází z možností platformy služby Azure Machine Learning, která umožňuje bezproblémovou integraci široké kolekce modelů v katalogu modelů v celém životním cyklu velkých operací jazykového modelu (LLM).

Dostupnost modelů pro nasazení jako spravované výpočetní prostředky

Modely jsou dostupné prostřednictvím registrů služby Azure Machine Learning. Tyto registry umožňují první přístup strojového učení k hostování a distribuci prostředků služby Azure Machine Learning. Mezi tyto prostředky patří váhy modelů, moduly runtime kontejnerů pro spouštění modelů, kanály pro vyhodnocení a vyladění modelů a datové sady pro srovnávací testy a ukázky.

Registry vycházejí z vysoce škálovatelné a podnikové infrastruktury, která:

• Poskytuje artefakty přístupového modelu s nízkou latencí všem oblastem Azure, s integrovanou geografickou replikací.

• Podporuje podnikové požadavky na zabezpečení, jako je omezení přístupu k modelům pomocí služby Azure Policy a zabezpečené nasazení pomocí spravovaných virtuálních sítí.

Nasazení modelů pro odvozování se spravovanými výpočetními prostředky

Modely dostupné pro nasazení do spravovaného výpočetního prostředí je možné nasadit do spravovaného výpočetního prostředí Azure Machine Learning pro odvozování v reálném čase. Nasazení do spravovaného výpočetního prostředí vyžaduje, abyste ve svém předplatném Azure měli kvótu virtuálních počítačů pro konkrétní produkty, které potřebujete k optimálnímu spuštění modelu. Některé modely umožňují nasadit dočasně sdílenou kvótu pro testování modelů.

Další informace o nasazování modelů:

• Nasazení modelů Meta Llama
• Nasazení otevřených modelů Foundry

Vytváření aplikací generující AI se spravovanými výpočetními prostředky

Funkce sled výzev ve službě Azure Machine Learning nabízí skvělý zážitek pro vytváření prototypů. Pomocí nástroje Open Model LLM můžete používat modely nasazené s řízenými výpočetními prostředky v rámci procesu výzvy. Rozhraní REST API vystavené spravovanými výpočetními prostředky můžete použít také v oblíbených nástrojích LLM, jako je LangChain, s rozšířením Azure Machine Learning.

Zabezpečení obsahu pro modely nasazené jako spravované výpočetní prostředky

Služba Azure AI Content Safety je k dispozici pro použití se spravovanými výpočetními prostředky pro zobrazení různých kategorií škodlivého obsahu, jako je sexuální obsah, násilí, nenávist a sebepoškozování. Službu můžete použít také k zobrazení pokročilých hrozeb, jako je detekce rizik jailbreaku a detekce chráněného textu materiálu.

Můžete se podívat do tohoto poznámkového bloku pro informace o integraci Azure AI Content Safety s Llama 2. Nebo můžete použít nástroj Content Safety (Text) v rámci prompt flow ke předání odpovědí z modelu do Azure AI Content Safety pro kontrolu. Za takové použití se vám účtuje samostatně, jak je popsáno v cenách azure AI Content Safety.

Fakturace nasazení API bez serveru

Určité modely můžete nasadit v katalogu modelů s bezserverovou fakturací API. Tato metoda nasazení, označovaná také jako nasazení bezserverového rozhraní API, poskytuje způsob, jak modely využívat jako rozhraní API bez jejich hostování ve vašem předplatném. Modely jsou hostované v infrastruktuře spravované Microsoftem, která umožňuje přístup založený na rozhraní API k modelu poskytovatele modelu. Přístup založený na rozhraní API může výrazně snížit náklady na přístup k modelu a zjednodušit prostředí zřizování.

Modely, které jsou k dispozici pro nasazení jako nasazení bezserverového rozhraní API, nabízí poskytovatel modelu, ale jsou hostované v infrastruktuře Azure spravované Microsoftem a přístupné prostřednictvím rozhraní API. Poskytovatelé modelů definují licenční podmínky a nastavují cenu pro použití svých modelů. Služba Azure Machine Learning:

• Spravuje infrastrukturu hostování.
• Zpřístupní rozhraní API pro odvození.
• Plní roli zpracovatele dat pro podněty odeslané a zpracování výstupu obsahu pomocí modelů nasazených prostřednictvím MaaS.

Další informace o zpracování dat pro MaaS najdete v článku o ochraně osobních údajů.

Poznámka:

Předplatná CSP (Cloud Solution Provider) nemají možnost nakupovat modely nasazení bezserverového rozhraní API.

Fakturování

Uživatelský zážitek pro zjišťování, předplatné a spotřebu modelů nasazených prostřednictvím MaaS je k dispozici na portálu Foundry a v nástroji Azure Machine Learning Studio. Uživatelé přijímají licenční podmínky pro použití modelů. Informace o cenách pro spotřebu se poskytují během nasazování.

Modely od poskytovatelů jiných společností než Microsoft se účtují prostřednictvím Azure Marketplace v souladu s podmínkami použití komerčního marketplace Microsoftu.

Modely od Microsoftu se účtují prostřednictvím měřičů Azure jako služby spotřeby první strany. Jak je popsáno v podmínkách produktu, zakoupíte služby Consumption Services první strany pomocí měřičů Azure, ale nejsou předmětem podmínek služeb Azure. Použití těchto modelů podléhá zadaným licenčním podmínkám.

Jemné ladění modelů

Některé modely také podporují jemné ladění. U těchto modelů můžete využít doladění spravovaného výpočetního prostředí (preview) nebo doladění bezserverových nasazení API k přizpůsobení modelů pomocí vámi zadaných dat. Další informace najdete v přehledu vyladění.

RAG s modely nasazenými jako nasazení bezserverového rozhraní API

Na portálu Foundry můžete použít vektorové indexy a retrieval-augmented generation (RAG). K generování embeddingů a vyvozování závěrů na základě vlastních dat můžete použít modely, které lze nasadit prostřednictvím bezserverového rozhraní API. Tyto vkládání a odvozování pak můžou generovat odpovědi specifické pro váš případ použití. Další informace najdete v tématu Vytváření a využívání vektorových indexů na portálu Foundry.

Regionální dostupnost nabídek a modelů

Fakturace s platbami za token je dostupná jenom uživatelům, jejichž předplatné Azure patří k fakturačnímu účtu v zemi nebo oblasti, kde poskytovatel modelu nabídku zpřístupnil. Pokud je nabídka dostupná v příslušné oblasti, musí mít uživatel projektový zdroj v regionu Azure, kde je model dostupný pro nasazení nebo doladění, pokud je to možné. Viz Dostupnost oblastí pro modely v nasazeních bezserverového rozhraní API | Foundry pro podrobné informace.

Zabezpečení obsahu pro modely nasazené prostřednictvím nasazení bezserverového rozhraní API

U jazykových modelů nasazených prostřednictvím bezserverového rozhraní API azure AI implementuje výchozí konfiguraci filtrů moderování obsahu Azure AI , které detekují škodlivý obsah, jako je nenávist, sebeškodné, sexuální a násilné obsah. Další informace o filtrování obsahu najdete v tématu Ochranné mantinely a ovládací prvky pro modely prodané přímo v Azure.

Návod

Filtrování obsahu není k dispozici pro určité typy modelů nasazené prostřednictvím bezserverového rozhraní API. Mezi tyto typy modelů patří vkládání modelů a modelů časových řad.

Filtrování obsahu probíhá synchronně, když služba zpracovává zadání k vygenerování obsahu. Za takové použití se vám můžou účtovat samostatně podle cen služby Azure AI Content Safety. Filtrování obsahu pro jednotlivé koncové body bez serveru můžete zakázat:

• V době, kdy poprvé nasadíte jazykový model
• Později výběrem přepínače filtrování obsahu na stránce podrobností nasazení

Předpokládejme, že se rozhodnete použít jiné rozhraní API než rozhraní API pro odvozování modelů pro práci s modelem nasazeným prostřednictvím bezserverového rozhraní API. V takové situaci není filtrování obsahu povolené, pokud ho neimplementujete samostatně pomocí služby Azure AI Content Safety.

Pokud chcete začít pracovat se službou Azure AI Content Safety, přečtěte si rychlý start: Analýza textového obsahu. Pokud při práci s modely nasazenými prostřednictvím bezserverového rozhraní API nepoužíváte filtrování obsahu, můžete uživatelům vystavit škodlivý obsah.

Izolace sítě pro modely nasazené prostřednictvím nasazení bezserverového rozhraní API

Koncové body modelů nasazených jako bezserverové rozhraní API se řídí nastavením příznaku přístupu k veřejné síti centra Foundry, které obsahuje projekt, kde je nasazení umístěno. Pokud chcete pomoct zabezpečit nasazení bezserverového rozhraní API, zakažte příznak veřejného přístupu k síti v centru Foundry. Můžete pomoct zabezpečit příchozí komunikaci z klienta do koncového bodu pomocí privátního koncového bodu pro centrum.

Nastavení příznaku přístupu k veřejné síti pro centrum Foundry:

• Přejděte na webový portál Azure.
• Vyhledejte skupinu prostředků, do které centrum patří, a vyberte centrum Foundry z prostředků uvedených pro tuto skupinu prostředků.
• Na stránce přehledu centra v levém podokně přejděte na Nastavení>sítě.
• Na kartě Veřejný přístup můžete nakonfigurovat nastavení příznaku přístupu k veřejné síti.
• Uložte změny. Vaše změny mohou trvat až pět minut, než se projeví.

Omezení

• Pokud máte centrum Foundry s privátním koncovým bodem vytvořeným před 11. červencem 2024, nasazení bezserverového rozhraní API přidaná do projektů v tomto centru nebudou dodržovat konfiguraci sítě centra. Místo toho musíte vytvořit nový privátní koncový bod pro centrum a vytvořit nové nasazení bezserverového rozhraní API v projektu, aby nová nasazení mohly postupovat podle konfigurace sítě centra.

• Pokud máte centrum Foundry s nasazeními MaaS vytvořené před 11. červencem 2024 a v tomto centru povolíte privátní koncový bod, stávající nasazení bezserverového rozhraní API nebudou dodržovat konfiguraci sítě centra. Pro nasazení bezserverového rozhraní API v centru tak, aby postupovala podle konfigurace sítě centra, musíte nasazení vytvořit znovu.

• V současné době není podpora Azure OpenAI ve vašich datech dostupná pro nasazení bezserverového rozhraní API v privátních centrech, protože privátní centra mají zakázaný příznak přístupu k veřejné síti.

• Aplikace jakékoli změny konfigurace sítě (například povolení nebo zakázání veřejného přístupového příznaku k síti) může trvat až pět minut.  

Související obsah

• Prozkoumání základních modelů na portálu Foundry
• Ukončení podpory a vyřazení modelů v katalogu modelů Foundry