Katalog modelů a kolekce v Azure AI Studiu
Důležité
Některé funkce popsané v tomto článku můžou být dostupné jenom ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Katalog modelů v nástroji Azure AI Studio je centrem pro zjišťování a používání široké škály modelů, které umožňují vytvářet aplikace Generative AI. Katalog modelů nabízí stovky modelů napříč poskytovateli modelů, jako je služba Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, včetně modelů natrénovaných Microsoftem. Modely od jiných poskytovatelů než Microsoft jsou produkty jiné společnosti než Microsoft, jak jsou definovány v podmínkách produktů společnosti Microsoft, a podléhají podmínkám poskytnutým s modelem.
Kolekce modelů
Katalog modelů uspořádá modely do kolekcí. V katalogu modelů existují tři typy kolekcí:
- Modely kurátorované službou Azure AI: Nejoblíbenější otevřené modely a modely propriety třetích stran zabalené a optimalizované tak, aby bez problémů fungovaly na platformě Azure AI. Použití těchto modelů podléhá licenčním podmínkám poskytovatele modelu, které jsou s modelem poskytovány. Při nasazení v Azure AI Studiu se dostupnost modelu vztahuje na příslušnou smlouvu SLA Azure a Microsoft poskytuje podporu problémů s nasazením. Modely od partnerů, jako je Meta, NVIDIA, Mistral AI, jsou příklady modelů dostupných v kolekci Kurátorované podle Azure AI v katalogu. Tyto modely je možné identifikovat zelenou zaškrtávací značkou na dlaždicích modelu v katalogu, nebo je můžete filtrovat podle kolekce Kurátorované podle Azure AI.
- Modely Azure OpenAI, které jsou výhradně dostupné v Azure: Vlajkové modely Azure OpenAI prostřednictvím kolekce Azure OpenAI prostřednictvím integrace se službou Azure OpenAI. Microsoft podporuje tyto modely a jejich použití v souladu s podmínkami produktu a smlouvou SLA pro službu Azure OpenAI.
- Otevřené modely z centra Hugging Face: Stovky modelů z centra HuggingFace jsou přístupné prostřednictvím kolekce Hugging Face pro odvozování spravovaných výpočetních prostředků v reálném čase. Hugging face vytváří a udržuje modely uvedené v kolekci HuggingFace. Pokud potřebujete pomoc, použijte fórum HuggingFace nebo podporu HuggingFace. Další informace najdete v tématu Nasazení otevřených modelů .
Návrhy přidání do katalogu modelů:Pomocí tohoto formuláře můžete odeslat žádost o přidání modelu do katalogu modelů.
Přehled možností katalogu modelů
Informace o modelech Azure OpenAI se nachází v článku Služba Azure OpenAI.
Některé modely v kurátorovaných modelech Azure AI a Open z kolekcí centra Hugging Face Hub je možné nasadit s možností spravovaného výpočetního prostředí a některé modely je možné nasadit pomocí bezserverových rozhraní API s průběžnými platbami. Tyto modely je možné zjistit, porovnat, vyhodnotit, jemně vyladit (pokud je to podporováno) a nasadit ve velkém měřítku a integrovat je do aplikací Generative AI se zabezpečením a zásadami správného řízení dat na podnikové úrovni.
- Zjištění: Kontrola karet modelu, vyzkoušení ukázkového odvozování a procházení ukázek kódu k vyhodnocení, vyladění nebo nasazení modelu.
- Porovnání: Porovnání srovnávacích testů napříč modely a datovými sadami dostupnými v odvětví za účelem posouzení toho, která z nich vyhovuje vašemu obchodnímu scénáři.
- Vyhodnocení: Vyhodnoťte, jestli je model vhodný pro vaši konkrétní úlohu, a to poskytnutím vlastních testovacích dat. Metriky vyhodnocení usnadňují vizualizaci toho, jak dobře vybraný model ve vašem scénáři fungoval.
- Vyladění: Přizpůsobte si jemně vyladěné modely pomocí vlastních trénovacích dat a vyberte nejlepší model porovnáním metrik napříč všemi vašimi jemně vyladěnými úlohami. Integrované optimalizace urychlují jemné ladění a snižují paměť a výpočetní prostředky potřebné k vyladění.
- Nasazení: Nasaďte předem natrénované modely nebo jemně vyladěné modely pro odvozování. Můžete také stáhnout modely, které je možné nasadit do spravovaných výpočetních prostředků.
Nasazení modelu: Spravované výpočetní a bezserverové rozhraní API (průběžné platby)
Katalog modelů nabízí dva různé způsoby nasazení modelů z katalogu pro vaše použití: spravovaná výpočetní prostředí a bezserverová rozhraní API. Možnosti nasazení dostupné pro každý model se liší; Další informace o funkcích možností nasazení a možnostech dostupných pro konkrétní modely najdete v následujících tabulkách. Přečtěte si další informace o zpracování dat pomocí možností nasazení.
| Funkce | Spravované výpočetní prostředky | bezserverové rozhraní API (průběžné platby) |
|---|---|---|
| Prostředí nasazení a fakturace | Váhy modelů se nasazují do vyhrazených virtuálních počítačů se spravovanými koncovými body Online. Spravovaný online koncový bod, který může mít jedno nebo více nasazení, zpřístupňuje rozhraní REST API pro odvozování. Účtují se vám hodiny jádra virtuálního počítače používané nasazením. | Přístup k modelům probíhá prostřednictvím nasazení, které zřídí rozhraní API pro přístup k modelu. Rozhraní API poskytuje přístup k modelu hostovaného a spravovanému Microsoftem pro odvozování. Tento režim přístupu se označuje jako modely jako služba. Fakturujete za vstupy a výstupy rozhraní API, obvykle v tokenech; informace o cenách jsou k dispozici před nasazením. |
| Ověřování API | Klíče a ověřování Microsoft Entra ID. | Jenom klíče. |
| Bezpečnost obsahu | Použijte rozhraní API služby Azure Content Sejf ty. | Filtry obsahu Azure AI Sejf ty jsou integrované s rozhraními API pro odvození. Filtry obsahu Azure AI Sejf ty se můžou účtovat samostatně. |
| Izolace sítě | Nakonfigurujte spravovanou síť. Další informace. |
| Model | Spravované výpočetní prostředky | Bezserverové rozhraní API (průběžné platby) |
|---|---|---|
| Rodinné modely Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Modely rodiny Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Modely rodiny cohere | Není k dispozici | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| JAIS | Není k dispozici | jais-30b-chat |
| Rodinné modely Phi3 | Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct Phi-3-vision-128k-instruct |
| Nixtla | Není k dispozici | TimeGEN-1 |
| Další modely | dostupný | Není k dispozici |
Spravované výpočetní prostředky
Možnost nasazení modelů jako spravovaných výpočetních prostředků vychází z možností platformy služby Azure Machine Učení umožňující bezproblémovou integraci v celém životním cyklu LLMOps široké kolekce modelů v katalogu modelů.
Jak jsou modely zpřístupněné pro nasazení jako spravované výpočetní prostředky?
Modely jsou dostupné prostřednictvím registrů azure Machine Učení, které umožňují první přístup ML k hostování a distribuci prostředků strojového Učení, jako jsou váhy modelů, moduly runtime kontejnerů pro spouštění modelů, kanály pro vyhodnocení a vyladění modelů a datových sad pro srovnávací testy a ukázky. Tyto registry ML vycházejí z vysoce škálovatelné a podnikové infrastruktury, která:
Poskytuje artefakty modelu s nízkou latencí do všech oblastí Azure s integrovanou geografickou replikací.
Podporuje podnikové požadavky na zabezpečení, protože omezuje přístup k modelům pomocí služby Azure Policy a zabezpečené nasazení se spravovanými virtuálními sítěmi.
Nasazení modelů pro odvozování pomocí spravovaných výpočetních prostředků
Modely dostupné pro nasazení do spravovaného výpočetního prostředí je možné nasadit do azure Machine Učení online koncových bodů pro odvozování v reálném čase. Nasazení do spravovaného výpočetního prostředí vyžaduje, abyste ve svém předplatném Azure měli kvótu virtuálních počítačů pro konkrétní skladové položky potřebné k optimálnímu spuštění modelu. Některé modely umožňují nasadit dočasně sdílenou kvótu pro testování modelu. Další informace o nasazování modelů:
Vytváření aplikací generující AI se spravovanými výpočetními prostředky
Rychlý tok nabízí skvělé prostředí pro vytváření prototypů. Pomocí nástroje Open Model LLM můžete použít modely nasazené se spravovanými výpočetními prostředky ve službě Prompt Flow. Rozhraní REST API vystavené spravovanými výpočetními prostředky můžete použít také v oblíbených nástrojích LLM, jako je LangChain, s rozšířením Azure Machine Učení.
Zabezpečení obsahu pro modely nasazené jako spravované výpočetní prostředky
Služba Azure AI Content Sejf ty (AACS) je k dispozici pro použití se spravovanými výpočetními prostředky, na které můžete zobrazit různé kategorie škodlivého obsahu, jako je sexuální obsah, násilí, nenávist a samoškozování a pokročilé hrozby, jako je detekce rizik jailbreaku a detekce chráněného textu materiálu. V tomto poznámkovém bloku můžete odkazovat na referenční integraci s AACS pro Llama 2 nebo pomocí nástroje Content Sejf ty (Text) v toku výzvy předat odpovědi z modelu do AACS pro účely screeningu. Za toto použití se vám účtují samostatně podle cen AACS.
Bezserverová rozhraní API s průběžnými platbami
Některé modely v katalogu modelů je možné nasadit jako bezserverová rozhraní API s fakturací s průběžnými platbami; tato metoda nasazení se nazývá Modely jako služba (MaaS), která poskytuje způsob, jak je využívat jako rozhraní API, aniž byste je hostovali ve vašem předplatném. Modely dostupné prostřednictvím MaaS jsou hostované v infrastruktuře spravované Microsoftem, což umožňuje přístup na základě rozhraní API k modelu poskytovatele modelu. Přístup založený na rozhraní API může výrazně snížit náklady na přístup k modelu a výrazně zjednodušit prostředí zřizování. Většina modelů MaaS má ceny založené na tokenech.
Jak jsou modely třetích stran dostupné v MaaS?
Modely, které jsou k dispozici pro nasazení jako bezserverová rozhraní API s fakturací s průběžnými platbami, nabízí poskytovatel modelu, ale hostuje se v infrastruktuře Azure spravované Microsoftem a přistupuje k němu prostřednictvím rozhraní API. Poskytovatelé modelů definují licenční podmínky a nastavují cenu pro použití svých modelů, zatímco služba Azure Machine Učení spravuje infrastrukturu hostování, zpřístupňuje rozhraní API pro odvozování a funguje jako zpracovatel dat pro výzvy odeslané a výstup obsahu podle modelů nasazených prostřednictvím MaaS. Další informace o zpracování dat pro MaaS najdete v článku o ochraně osobních údajů .
Platba za využití modelu v MaaS
Prostředí zjišťování, předplatného a spotřeby pro modely nasazené prostřednictvím MaaS je v Azure AI Studiu a studio Azure Machine Learning. Uživatelé přijímají licenční podmínky pro použití modelů a informace o cenách pro spotřebu se poskytují během nasazování. Modely od poskytovatelů třetích stran se účtují prostřednictvím Azure Marketplace v souladu s podmínkami použití na komerčním marketplace. Modely od Microsoftu se účtují pomocí měřičů Azure jako služeb consumption první strany. Jak je popsáno v podmínkách produktu, služby consumption první strany se kupují pomocí měřičů Azure, ale nejsou předmětem podmínek služeb Azure. Použití těchto modelů podléhá poskytnutým licenčním podmínkám.
Nasazení modelů pro odvozování prostřednictvím MaaS
Nasazení modelu prostřednictvím MaaS umožňuje uživatelům získat přístup k rozhraním API pro odvozování, aniž by museli konfigurovat infrastrukturu nebo zřizovat GPU, což šetří čas a prostředky přípravy. Tato rozhraní API je možné integrovat s několika nástroji LLM a využití se účtuje, jak je popsáno v předchozí části.
Vyladění modelů prostřednictvím MaaS s průběžnými platbami
U modelů, které jsou dostupné prostřednictvím MaaS a podporují vyladění, můžou uživatelé využít hostované vyladění s průběžnými platbami a přizpůsobit modely pomocí dat, která poskytují. Další informace najdete v přehledu vyladění.
RAG s modely nasazenými jako bezserverová rozhraní API
Azure AI Studio umožňuje uživatelům využívat vektorové indexy a rozšířené generování načítání. Modely, které je možné nasadit prostřednictvím bezserverového rozhraní API, je možné použít ke generování vkládání a odvozování na základě vlastních dat k vygenerování odpovědí specifických pro jejich případ použití. Další informace naleznete v tématu Vytvoření vektorového indexu.
Regionální dostupnost nabídek a modelů
Fakturace průběžných plateb je dostupná jenom uživatelům, jejichž předplatné Azure patří do fakturačního účtu v zemi, kde poskytovatel modelu nabídku zpřístupnil (viz oblast dostupnosti nabídek v tabulce v další části). Pokud je nabídka dostupná v příslušné oblasti, musí mít uživatel centrum nebo projekt v oblasti Azure, ve které je model dostupný pro nasazení nebo vyladění (viz sloupce centrum/oblast projektu v následující tabulce).
| Model | Oblast dostupnosti nabídek | Centrum / oblast projektu pro nasazení | Centrum nebo oblast projektu pro vyladění |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Spravované země Microsoftu | USA – východ 2, Švédsko – střed | Není k dispozici |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Spravované země Microsoftu | USA – východ 2, USA – západ 3 | USA – západ 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Spravované země Microsoftu | USA – východ 2, USA – západ 3 | Není k dispozici |
| Mistral-Large Mistral Small |
Spravované země Microsoftu | USA – východ 2, Švédsko – střed | Není k dispozici |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Spravované země Microsoftu Japonsko |
USA – východ 2, Švédsko – střed | Není k dispozici |
Zabezpečení obsahu pro modely nasazené prostřednictvím bezserverového rozhraní API
Důležité
Některé funkce popsané v tomto článku můžou být dostupné jenom ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Azure AI Studio implementuje výchozí konfiguraci filtrů moderování textu azure AI Sejf ty pro škodlivý obsah (nenávist, sebeškodné, sexuální a násilí) v jazykových modelech nasazených v MaaS. Další informace o filtrování obsahu (Preview) najdete v kategoriích škod v obsahu Azure AI Sejf ty. Filtrování obsahu (Preview) probíhá synchronně, protože procesy služby vyzvou k vygenerování obsahu a pro takové použití se vám můžou účtovat samostatně podle cen AACS. Filtrování obsahu pro jednotlivé koncové body bez serveru můžete zakázat při prvním nasazení jazykového modelu nebo na stránce podrobností nasazení kliknutím na přepínač filtrování obsahu. Pokud vypnete filtry obsahu, můžete být ohroženi tím, že uživatele vystavujete škodlivému obsahu.