Katalog modelů a kolekce v Azure AI Studiu

Důležité

Některé funkce popsané v tomto článku můžou být dostupné jenom ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Katalog modelů v nástroji Azure AI Studio je centrem pro zjišťování a používání široké škály modelů, které umožňují vytvářet aplikace Generative AI. Katalog modelů nabízí stovky modelů napříč poskytovateli modelů, jako je služba Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, včetně modelů natrénovaných Microsoftem. Modely od jiných poskytovatelů než Microsoft jsou produkty jiné společnosti než Microsoft, jak jsou definovány v podmínkách produktů společnosti Microsoft, a podléhají podmínkám poskytnutým s modelem.

Kolekce modelů

Katalog modelů uspořádá modely do kolekcí. V katalogu modelů existují tři typy kolekcí:

• Modely kurátorované službou Azure AI: Nejoblíbenější otevřené modely a modely propriety třetích stran zabalené a optimalizované tak, aby bez problémů fungovaly na platformě Azure AI. Použití těchto modelů podléhá licenčním podmínkám poskytovatele modelu, které jsou s modelem poskytovány. Při nasazení v Azure AI Studiu se dostupnost modelu vztahuje na příslušnou smlouvu SLA Azure a Microsoft poskytuje podporu problémů s nasazením. Modely od partnerů, jako je Meta, NVIDIA, Mistral AI, jsou příklady modelů dostupných v kolekci Kurátorované podle Azure AI v katalogu. Tyto modely je možné identifikovat zelenou zaškrtávací značkou na dlaždicích modelu v katalogu, nebo je můžete filtrovat podle kolekce Kurátorované podle Azure AI.
• Modely Azure OpenAI, které jsou výhradně dostupné v Azure: Vlajkové modely Azure OpenAI prostřednictvím kolekce Azure OpenAI prostřednictvím integrace se službou Azure OpenAI. Microsoft podporuje tyto modely a jejich použití v souladu s podmínkami produktu a smlouvou SLA pro službu Azure OpenAI.
• Otevřené modely z centra Hugging Face: Stovky modelů z centra HuggingFace jsou přístupné prostřednictvím kolekce Hugging Face pro odvozování spravovaných výpočetních prostředků v reálném čase. Hugging face vytváří a udržuje modely uvedené v kolekci HuggingFace. Pokud potřebujete pomoc, použijte fórum HuggingFace nebo podporu HuggingFace. Další informace najdete v tématu Nasazení otevřených modelů .

Návrhy přidání do katalogu modelů: Pomocí tohoto formuláře můžete odeslat žádost o přidání modelu do katalogu modelů.

Přehled možností katalogu modelů

Informace o modelech Azure OpenAI se nachází v článku Služba Azure OpenAI.

Některé modely v kurátorovaných modelech Azure AI a Open z kolekcí centra Hugging Face Hub je možné nasadit s možností spravovaného výpočetního prostředí a některé modely je možné nasadit pomocí bezserverových rozhraní API s průběžnými platbami. Tyto modely je možné zjistit, porovnat, vyhodnotit, jemně vyladit (pokud je to podporováno) a nasadit ve velkém měřítku a integrovat je do aplikací Generative AI se zabezpečením a zásadami správného řízení dat na podnikové úrovni.

• Zjištění: Kontrola karet modelu, vyzkoušení ukázkového odvozování a procházení ukázek kódu k vyhodnocení, vyladění nebo nasazení modelu.
• Porovnání: Porovnání srovnávacích testů napříč modely a datovými sadami dostupnými v odvětví za účelem posouzení toho, která z nich vyhovuje vašemu obchodnímu scénáři.
• Vyhodnocení: Vyhodnoťte, jestli je model vhodný pro vaši konkrétní úlohu, a to poskytnutím vlastních testovacích dat. Metriky vyhodnocení usnadňují vizualizaci toho, jak dobře vybraný model ve vašem scénáři fungoval.
• Vyladění: Přizpůsobte si jemně vyladěné modely pomocí vlastních trénovacích dat a vyberte nejlepší model porovnáním metrik napříč všemi vašimi jemně vyladěnými úlohami. Integrované optimalizace urychlují jemné ladění a snižují paměť a výpočetní prostředky potřebné k vyladění.
• Nasazení: Nasaďte předem natrénované modely nebo jemně vyladěné modely pro odvozování. Můžete také stáhnout modely, které je možné nasadit do spravovaných výpočetních prostředků.

Nasazení modelu: Spravované výpočetní a bezserverové rozhraní API (průběžné platby)

Katalog modelů nabízí dva různé způsoby nasazení modelů z katalogu pro vaše použití: spravovaná výpočetní prostředí a bezserverová rozhraní API. Možnosti nasazení dostupné pro každý model se liší; Další informace o funkcích možností nasazení a možnostech dostupných pro konkrétní modely najdete v následujících tabulkách. Přečtěte si další informace o zpracování dat pomocí možností nasazení.

Funkce	Spravované výpočetní prostředky	bezserverové rozhraní API (průběžné platby)
Prostředí nasazení a fakturace	Váhy modelů se nasazují do vyhrazených virtuálních počítačů se spravovanými koncovými body Online. Spravovaný online koncový bod, který může mít jedno nebo více nasazení, zpřístupňuje rozhraní REST API pro odvozování. Účtují se vám hodiny jádra virtuálního počítače používané nasazením.	Přístup k modelům probíhá prostřednictvím nasazení, které zřídí rozhraní API pro přístup k modelu. Rozhraní API poskytuje přístup k modelu hostovaného a spravovanému Microsoftem pro odvozování. Tento režim přístupu se označuje jako „Modely jako služba“. Fakturujete za vstupy a výstupy rozhraní API, obvykle v tokenech; informace o cenách jsou k dispozici před nasazením.
Ověřování API	Ověřování Microsoft Entra ID uživatele robota	Jenom klíče.
Bezpečnost obsahu	Použijte rozhraní API služby zabezpečení obsahu Azure.	Filtry zabezpečení obsahu Azure AI jsou k dispozici integrované s rozhraními API pro odvození. Filtry zabezpečení obsahu Azure AI se můžou účtovat samostatně.
Izolace sítě	Nakonfigurujte spravovanou síť. Další informace.

Model	Spravované výpočetní prostředky	Bezserverové rozhraní API (průběžné platby)
Rodinné modely Llama	Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B	Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat
Modely řady Mistral	mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01	Mistral-large Mistral-small
Modely rodiny cohere	Není k dispozici	Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual
JAIS	Není k dispozici	jais-30b-chat
Rodinné modely Phi3	Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct	Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct
Nixtla	Není k dispozici	TimeGEN-1
Další modely	dostupný	Není k dispozici

Spravované výpočetní prostředky

Možnost nasazení modelů jako spravovaných výpočetních prostředků vychází z možností platformy služby Azure Machine Learning, která umožňuje bezproblémovou integraci v celém životním cyklu LLMOps široké kolekce modelů v katalogu modelů.

Jak jsou modely zpřístupněné pro nasazení jako spravované výpočetní prostředky?

Modely jsou dostupné prostřednictvím registrů Azure Machine Learning, které umožňují první přístup ML k hostování a distribuci prostředků machine Learning, jako jsou váhy modelů, moduly runtime kontejnerů pro spouštění modelů, kanály pro vyhodnocení a vyladění modelů a datových sad pro srovnávací testy a ukázky. Tyto registry ML vycházejí z vysoce škálovatelné a podnikové infrastruktury, která:

• Poskytuje artefakty modelu s nízkou latencí do všech oblastí Azure s integrovanou geografickou replikací.

• Podporuje podnikové požadavky na zabezpečení, protože omezuje přístup k modelům pomocí služby Azure Policy a zabezpečené nasazení se spravovanými virtuálními sítěmi.

Nasazení modelů pro odvozování pomocí spravovaných výpočetních prostředků

Modely dostupné pro nasazení do spravovaného výpočetního prostředí je možné nasadit do koncových bodů Online služby Azure Machine Learning pro odvozování v reálném čase. Nasazení do spravovaného výpočetního prostředí vyžaduje, abyste ve svém předplatném Azure měli kvótu virtuálních počítačů pro konkrétní skladové položky potřebné k optimálnímu spuštění modelu. Některé modely umožňují nasadit dočasně sdílenou kvótu pro testování modelu. Další informace o nasazování modelů:

• Nasazení modelů Meta Llama
• Nasazení otevřených modelů vytvořených službou Azure AI

Vytváření aplikací generující AI se spravovanými výpočetními prostředky

Rychlý tok nabízí skvělé prostředí pro vytváření prototypů. Pomocí nástroje Open Model LLM můžete použít modely nasazené se spravovanými výpočetními prostředky ve službě Prompt Flow. Rozhraní REST API vystavené spravovanými výpočetními prostředky můžete použít také v oblíbených nástrojích LLM, jako je LangChain, s rozšířením Azure Machine Learning.

Zabezpečení obsahu pro modely nasazené jako spravované výpočetní prostředky

Služba Azure AI Content Safety (AACS) je k dispozici pro použití se spravovanými výpočetními prostředky pro zobrazení různých kategorií škodlivého obsahu, jako je sexuální obsah, násilí, nenávist a samoškozování a pokročilé hrozby, jako je detekce rizik jailbreaku a detekce chráněného textu. V tomto poznámkovém bloku najdete referenční integraci se službou AACS pro Llama 2 nebo pomocí nástroje Zabezpečení obsahu (Text) v toku výzvy předat odpovědi z modelu do AACS pro účely screeningu. Za toto použití se vám účtují samostatně podle cen AACS.

Bezserverová rozhraní API s průběžnými platbami

Některé modely v katalogu modelů je možné nasadit jako bezserverová rozhraní API s fakturací s průběžnými platbami; tato metoda nasazení se nazývá Modely jako služba (MaaS), která poskytuje způsob, jak je využívat jako rozhraní API, aniž byste je hostovali ve vašem předplatném. Modely dostupné prostřednictvím MaaS jsou hostované v infrastruktuře spravované Microsoftem, což umožňuje přístup na základě rozhraní API k modelu poskytovatele modelu. Přístup založený na rozhraní API může výrazně snížit náklady na přístup k modelu a výrazně zjednodušit prostředí zřizování. Většina modelů MaaS má ceny založené na tokenech.

Jak jsou modely třetích stran dostupné v MaaS?

Modely, které jsou k dispozici pro nasazení jako bezserverová rozhraní API s fakturací s průběžnými platbami, nabízí poskytovatel modelu, ale hostují se v infrastruktuře Azure spravované společností Microsoft a přistupuje se k nim prostřednictvím rozhraní API. Poskytovatelé modelů definují licenční podmínky a nastavují cenu pro použití svých modelů, zatímco služba Azure Machine Learning spravuje infrastrukturu hostování, zpřístupňuje rozhraní API pro odvozování a funguje jako zpracovatel dat pro výzvy odeslané a výstup obsahu podle modelů nasazených prostřednictvím MaaS. Další informace o zpracování dat pro MaaS najdete v článku o ochraně osobních údajů .

Platba za využití modelu v MaaS

Prostředí zjišťování, předplatného a spotřeby pro modely nasazené prostřednictvím MaaS je v Azure AI Studiu a studio Azure Machine Learning. Uživatelé přijímají licenční podmínky pro použití modelů a informace o cenách pro spotřebu se poskytují během nasazování. Modely od poskytovatelů třetích stran se účtují prostřednictvím Azure Marketplace v souladu s podmínkami použití na komerčním marketplace. Modely od Microsoftu se účtují pomocí měřičů Azure jako služeb consumption první strany. Jak je popsáno v podmínkách produktu, služby consumption první strany se kupují pomocí měřičů Azure, ale nejsou předmětem podmínek služeb Azure. Použití těchto modelů podléhá poskytnutým licenčním podmínkám.

Nasazení modelů pro odvozování prostřednictvím MaaS

Nasazení modelu prostřednictvím MaaS umožňuje uživatelům získat přístup k rozhraním API pro odvozování, aniž by museli konfigurovat infrastrukturu nebo zřizovat GPU, což šetří čas a prostředky přípravy. Tato rozhraní API je možné integrovat s několika nástroji LLM a využití se účtuje, jak je popsáno v předchozí části.

Vyladění modelů prostřednictvím MaaS s průběžnými platbami

U modelů, které jsou dostupné prostřednictvím MaaS a podporují vyladění, můžou uživatelé využít hostované vyladění s průběžnými platbami a přizpůsobit modely pomocí dat, která poskytují. Další informace najdete v přehledu vyladění.

RAG s modely nasazenými jako bezserverová rozhraní API

Azure AI Studio umožňuje uživatelům využívat vektorové indexy a rozšířené generování načítání. Modely, které je možné nasadit prostřednictvím bezserverového rozhraní API, je možné použít ke generování vkládání a odvozování na základě vlastních dat k vygenerování odpovědí specifických pro jejich případ použití. Další informace naleznete v tématu Vytvoření vektorového indexu.

Regionální dostupnost nabídek a modelů

Fakturace průběžných plateb je dostupná jenom uživatelům, jejichž předplatné Azure patří do fakturačního účtu v zemi, kde poskytovatel modelu nabídku zpřístupnil (viz oblast dostupnosti nabídek v tabulce v další části). Pokud je nabídka dostupná v příslušné oblasti, musí mít uživatel centrum nebo projekt v oblasti Azure, ve které je model dostupný pro nasazení nebo vyladění (viz sloupce centrum/oblast projektu v následující tabulce).

Model	Nabídka dostupnosti podle oblastí	Centrum / oblast projektu pro nasazení	Centrum nebo oblast projektu pro vyladění
Llama-3-70B-Instruct Llama-3-8B-Instruct	Spravované země společností Microsoft	USA – východ, USA – východ 2, USA – středosever, USA – středojiž, Švédsko – střed, USA – západ, USA – západ 3	Není k dispozici
Llama-2-7b Llama-2-13b Llama-2-70b	Spravované země společností Microsoft	USA – východ, USA – východ 2, USA – středosever, USA – středojiž, USA – západ, USA – západ 3	USA – západ 3
Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat	Spravované země společností Microsoft	USA – východ, USA – východ 2, USA – středosever, USA – středojiž, USA – západ, USA – západ 3,	Není k dispozici
Mistral Small	Spravované země společností Microsoft	USA – východ, USA – východ 2, USA – středosever, USA – středojiž, Švédsko – střed, USA – západ, USA – západ 3	Není k dispozici
Mistral-Large	Spravované země společností Microsoft Brazílie Hongkong Izrael	USA – východ, USA – východ 2, USA – středosever, USA – středojiž, Švédsko – střed, USA – západ, USA – západ 3	Není k dispozici
Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual	Spravované země společností Microsoft Japonsko	USA – východ, USA – východ 2, USA – středosever, USA – středojiž, Švédsko – střed, USA – západ, USA – západ 3	Není k dispozici
TimeGEN-1	Spravované země společností Microsoft Mexiko Izrael	USA – východ, USA – východ 2, USA – středosever, USA – středojiž, Švédsko – střed, USA – západ, USA – západ 3	Není k dispozici
jais-30b-chat	Spravované země společností Microsoft	USA – východ, USA – východ 2, USA – středosever, USA – středojiž, Švédsko – střed, USA – západ, USA – západ 3	Není k dispozici
Phi-3-mini-4k-instruct	Spravované země společností Microsoft	USA – východ 2, Kanada – střed, Švédsko – střed, USA – západ 3	Není k dispozici
Phi-3-mini-128k-instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct	Spravované země společností Microsoft	USA – východ 2, Švédsko – střed	Není k dispozici

Zabezpečení obsahu pro modely nasazené prostřednictvím bezserverového rozhraní API

Důležité

Některé funkce popsané v tomto článku můžou být dostupné jenom ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Azure AI Studio implementuje výchozí konfiguraci filtrů moderování obsahu Azure AI pro škodlivý obsah (nenávist, sebeškozování, sexuální a násilí) v jazykových modelech nasazených v MaaS. Další informace o filtrování obsahu (Preview) najdete v kategoriích škod v bezpečnsoti obsahu Azure AI. Filtrování obsahu (Preview) probíhá synchronizovaně, protože procesy služby vyzvou k vygenerování obsahu a pro takové použití se vám můžou účtovat samostatně podle cen AACS. Filtrování obsahu pro jednotlivé koncové body bez serveru můžete zakázat při prvním nasazení jazykového modelu nebo na stránce podrobností nasazení kliknutím na přepínač filtrování obsahu. Pokud vypnete filtry obsahu, můžete být ohroženi tím, že uživatele vystavujete škodlivému obsahu.

Další kroky

• Prozkoumání základních modelů Azure AI v Azure AI Studiu