Katalog modelů a kolekce
Katalog modelů v studio Azure Machine Learning je centrem pro zjišťování a používání široké škály modelů, které umožňují vytvářet aplikace Generative AI. Katalog modelů nabízí stovky modelů napříč poskytovateli modelů, jako je služba Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, včetně modelů natrénovaných Microsoftem. Modely od jiných poskytovatelů než Microsoft jsou produkty jiné společnosti než Microsoft, jak jsou definovány v podmínkách produktů společnosti Microsoft, a podléhají podmínkám poskytnutým s modelem.
Kolekce modelů
Modely jsou uspořádané podle kolekcí v katalogu modelů. Katalog modelů obsahuje tři typy kolekcí:
- Modely kurátorované službou Azure AI: Nejoblíbenější otevřené modely a modely propriety třetích stran zabalené a optimalizované tak, aby bez problémů fungovaly na platformě Azure AI. Použití těchto modelů podléhá licenčním podmínkám poskytovatele modelu, které jsou s modelem poskytovány. Při nasazení na počítač azure Učení se dostupnost modelu vztahuje na příslušnou smlouvu SLA Azure a Microsoft poskytuje podporu problémů s nasazením. Modely od partnerů, jako je Meta, NVIDIA, Mistral AI, jsou příklady modelů, které jsou k dispozici v kolekci Kurátorované podle Azure AI v katalogu. Tyto modely je možné identifikovat zelenou značkou zaškrtnutí na dlaždicích modelu v katalogu nebo můžete filtrovat podle kolekce Kurátorovaná podle Azure AI.
- Modely Azure OpenAI, které jsou výhradně dostupné v Azure: Vlajkové modely Azure OpenAI prostřednictvím kolekce Azure OpenAI prostřednictvím integrace se službou Azure OpenAI. Microsoft tyto modely podporuje a jejich použití podléhá podmínkám produktu a sla pro službu Azure OpenAI.
- Otevřené modely z centra Hugging Face: Stovky modelů z centra HuggingFace jsou přístupné prostřednictvím kolekce Hugging Face pro odvozování online koncových bodů v reálném čase. Hugging face creates and maintains models listed in HuggingFace collection. Pokud potřebujete pomoc, použijte fórum HuggingFace nebo podporu HuggingFace. Přečtěte si další informace o tom, jak nasadit modely z Hugging Face.
Návrhy přidání do katalogu modelů: Pomocí tohoto formuláře můžete odeslat žádost o přidání modelu do katalogu modelů.
Přehled možností katalogu modelů
Informace o modelech Azure OpenAI najdete ve službě Azure OpenAI.
U modelů kurátorovaných azure AI a modelů Open z centra Hugging Face je možné některé z nich nasadit jako koncové body v reálném čase a některé z nich je možné nasadit pomocí fakturace s průběžnými platbami (modely jako služba). Tyto modely je možné zjistit, porovnat, vyhodnotit, jemně vyladit (pokud je to podporováno) a nasadit ve velkém měřítku a integrovat je do aplikací Generative AI se zabezpečením a zásadami správného řízení dat na podnikové úrovni.
- Zjištění: Kontrola karet modelu, vyzkoušení ukázkového odvozování a procházení ukázek kódu k vyhodnocení, vyladění nebo nasazení modelu.
- Porovnání: Porovnání srovnávacích testů napříč modely a datovými sadami dostupnými v odvětví za účelem posouzení toho, která z nich vyhovuje vašemu obchodnímu scénáři.
- Vyhodnocení: Vyhodnoťte, jestli je model vhodný pro vaši konkrétní úlohu, a to poskytnutím vlastních testovacích dat. Metriky vyhodnocení usnadňují vizualizaci toho, jak dobře vybraný model ve vašem scénáři fungoval.
- Vyladění: Přizpůsobte si jemně vyladěné modely pomocí vlastních trénovacích dat a vyberte nejlepší model porovnáním metrik napříč všemi vašimi jemně vyladěnými úlohami. Integrované optimalizace urychlují vyladění a snižují paměť a výpočetní prostředky potřebné k vyladění.
- Nasazení: Nasaďte předem natrénované modely nebo jemně vyladěné modely pro odvozování. Můžete si také stáhnout modely, které je možné nasadit do koncových bodů v reálném čase.
Nasazení modelu: Koncové body a modely v reálném čase jako služba (průběžné platby)
Katalog modelů nabízí dva různé způsoby nasazení modelů z katalogu pro vaše použití: koncové body v reálném čase a odvozování průběžných plateb. Možnosti nasazení dostupné pro každý model se liší; Další informace o funkcích možností nasazení a možnostech dostupných pro konkrétní modely najdete v následujících tabulkách. Přečtěte si další informace o zpracování dat pomocí možností nasazení.
| Funkce | Odvození v reálném čase se spravovanými online koncovými body | Průběžné platby pomocí modelů jako služby |
|---|---|---|
| Prostředí nasazení a fakturace | Váhy modelů se nasazují do vyhrazených virtuálních počítačů se spravovanými koncovými body Online. Spravovaný online koncový bod, který může mít jedno nebo více nasazení, zpřístupňuje rozhraní REST API pro odvozování. Účtují se vám hodiny jádra virtuálního počítače používané nasazením. | Přístup k modelům probíhá prostřednictvím nasazení, které zřídí rozhraní API pro přístup k modelu. Rozhraní API poskytuje přístup k modelu hostovaného v centrálním fondu GPU spravovaném Microsoftem pro odvozování. Tento režim přístupu se označuje jako modely jako služba. Fakturujete za vstupy a výstupy rozhraní API, obvykle v tokenech; informace o cenách jsou k dispozici před nasazením. |
| Ověřování API | Klíče a ověřování Microsoft Entra ID. Další informace. | Jenom klíče. |
| Bezpečnost obsahu | Použijte rozhraní API služby Azure Content Sejf ty. | Filtry obsahu Azure AI Sejf ty jsou integrované s rozhraními API pro odvození. Filtry obsahu Azure AI Sejf ty se můžou účtovat samostatně. |
| Izolace sítě | Spravovaná virtuální síť s online koncovými body Další informace. |
Možnosti nasazení
| Model | Koncové body v reálném čase | Fakturace průběžných plateb |
|---|---|---|
| Rodinné modely Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Modely rodiny Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Modely rodiny cohere | Není k dispozici | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| Další modely | dostupný | Není k dispozici |
Koncové body v reálném čase
Možnost nasazení modelů do koncových bodů v reálném čase vychází z možností platformy služby Azure Machine Učení umožňující bezproblémovou integraci v celém životním cyklu LLMOps široké kolekce modelů v katalogu modelů.
Jak jsou modely zpřístupněné pro koncové body v reálném čase?
Modely jsou dostupné prostřednictvím registrů azure Machine Učení, které umožňují první přístup ML k hostování a distribuci prostředků strojového Učení, jako jsou váhy modelů, moduly runtime kontejnerů pro spouštění modelů, kanály pro vyhodnocení a vyladění modelů a datových sad pro srovnávací testy a ukázky. Tyto registry ML vycházejí z vysoce škálovatelné a podnikové infrastruktury, která:
Poskytuje artefakty modelu s nízkou latencí do všech oblastí Azure s integrovanou geografickou replikací.
Podporuje podnikové požadavky na zabezpečení, protože omezuje přístup k modelům pomocí služby Azure Policy a zabezpečené nasazení se spravovanými virtuálními sítěmi.
Vyhodnocení a vyladění modelů nasazených jako koncové body v reálném čase
Kolekci Kurátorovaná služba Azure AI můžete vyhodnotit a doladit v Učení azure machine Učení pomocí Azure Machine Učení Pipelines. Můžete si buď zvolit vlastní vyhodnocení a vyladění kódu a získat přístup k hmotnostem modelu, nebo můžete použít komponenty azure Machine Učení, které nabízejí integrované možnosti vyhodnocení a vyladění. Další informace najdete na tomto odkazu.
Nasazení modelů pro odvozování jako koncových bodů v reálném čase
Modely dostupné pro nasazení do koncových bodů v reálném čase je možné nasadit na počítač Azure Učení online koncové body pro odvozování v reálném čase nebo se dají použít pro azure Machine Učení Batch Inference k dávkovému zpracování dat. Nasazení do online koncových bodů vyžaduje, abyste ve svém předplatném Azure měli kvótu virtuálních počítačů pro konkrétní skladové položky potřebné k optimálnímu spuštění modelu. Některé modely umožňují nasadit dočasně sdílenou kvótu pro testování modelu. Další informace o nasazování modelů:
- Nasazení modelů Meta Llama
- Nasazení otevřených modelů vytvořených službou Azure AI
- Nasazení modelů Hugging Face
Vytváření generování aplikací umělé inteligence s koncovými body v reálném čase
Prompt flow nabízí možnosti pro vytváření prototypů, experimentování, iterace a nasazování aplikací AI. Pomocí nástroje Open Model LLM můžete použít modely nasazené jako koncové body v reálném čase v toku výzvy. Rozhraní REST API zveřejněné koncovými body v reálném čase můžete použít také v oblíbených nástrojích LLM, jako je LangChain, s rozšířením Azure Machine Učení.
Bezpečnost obsahu pro modely nasazené jako koncové body v reálném čase
Služba Azure AI Content Sejf ty (AACS) je k dispozici pro použití s koncovými body v reálném čase na obrazovku pro různé kategorie škodlivého obsahu, jako je sexuální obsah, násilí, nenávist a pokročilé hrozby, jako je detekce rizik jailbreaku a detekce chráněného textu. V tomto poznámkovém bloku můžete odkazovat na referenční integraci s AACS pro Llama 2 nebo pomocí nástroje Content Sejf ty (Text) v toku výzvy předat odpovědi z modelu do AACS pro účely blokování. Za toto použití se vám budou účtovat samostatně podle cen AACS.
Práce s modely, které nejsou v katalogu modelů
Pro modely, které nejsou dostupné v katalogu modelů, poskytuje azure machine Učení otevřenou a rozšiřitelnou platformu pro práci s modely podle vašeho výběru. Model můžete přenést s libovolnou architekturou nebo modulem runtime pomocí otevřených a rozšiřitelných funkcí platformy Azure Machine Učení, jako je Azure Machine Učení prostředí pro kontejnery, které můžou zabalit architektury a moduly runtime a kanály Azure Machine Učení pro účely vyhodnocování nebo vyladění modelů. V tomto poznámkovém bloku najdete ukázkové referenční informace k importu modelů a práci s integrovanými moduly runtime a kanály.
Modely jako služba (průběžné platby)
Některé modely v katalogu modelů je možné nasadit pomocí fakturace s průběžnými platbou; tato metoda nasazení se nazývá Models-as-a Service (MaaS). Modely dostupné prostřednictvím MaaS jsou hostované v infrastruktuře spravované Microsoftem, což umožňuje přístup na základě rozhraní API k modelu poskytovatele modelu. Přístup založený na rozhraní API může výrazně snížit náklady na přístup k modelu a výrazně zjednodušit prostředí zřizování. Většina modelů MaaS má ceny založené na tokenech.
Jak jsou modely třetích stran dostupné v MaaS?
Modely, které jsou k dispozici pro nasazení s průběžnými platbou, nabízí poskytovatel modelu, ale hostuje se v infrastruktuře Azure spravované Microsoftem a přistupuje k němu prostřednictvím rozhraní API. Poskytovatelé modelů definují licenční podmínky a nastavují cenu pro použití svých modelů, zatímco služba Azure Machine Učení spravuje infrastrukturu hostování, zpřístupňuje rozhraní API pro odvozování a funguje jako zpracovatel dat pro výzvy odeslané a výstup obsahu podle modelů nasazených prostřednictvím MaaS. Další informace o zpracování dat pro MaaS najdete v článku o ochraně osobních údajů .
Platba za využití modelu v MaaS
Prostředí zjišťování, předplatného a spotřeby pro modely nasazené prostřednictvím MaaS je v Azure AI Studiu a studio Azure Machine Learning. Uživatelé přijímají licenční podmínky pro použití modelů a informace o cenách pro spotřebu se poskytují během nasazování. Modely od poskytovatelů třetích stran se účtují prostřednictvím Azure Marketplace v souladu s podmínkami použití na komerčním marketplace. Modely od Microsoftu se účtují pomocí měřičů Azure jako služeb consumption první strany. Jak je popsáno v podmínkách produktu, služby consumption první strany se kupují pomocí měřičů Azure, ale nejsou předmětem podmínek služeb Azure. Použití těchto modelů podléhá poskytnutým licenčním podmínkám.
Nasazení modelů pro odvozování prostřednictvím MaaS
Nasazení modelu prostřednictvím MaaS umožňuje uživatelům získat přístup k rozhraním API pro odvozování, aniž by museli konfigurovat infrastrukturu nebo zřizovat GPU, což šetří čas a prostředky přípravy. Tato rozhraní API je možné integrovat s několika nástroji LLM a využití se účtuje, jak je popsáno v předchozí části.
Vyladění modelů prostřednictvím MaaS s průběžnými platbami
U modelů, které jsou dostupné prostřednictvím MaaS a podporují vyladění, můžou uživatelé využít hostované vyladění s průběžnými platbami a přizpůsobit modely pomocí dat, která poskytují. Další informace najdete v tématu vyladění modelu Llama 2 v Azure AI Studiu.
RAG s modely nasazenými prostřednictvím MaaS
Azure AI Studio umožňuje uživatelům využívat vektorové indexy a rozšířené generování načítání. Modely, které je možné nasadit prostřednictvím MaaS, se dají použít ke generování vkládání a odvozování na základě vlastních dat k vygenerování odpovědí specifických pro jejich případ použití. Další informace najdete v tématu Načítání rozšířené generace a indexů.
Regionální dostupnost nabídek a modelů
Nasazení s průběžným platbami je dostupné jenom uživatelům, jejichž předplatné Azure patří do fakturačního účtu v zemi, kde poskytovatel modelu nabídku zpřístupnil (viz oblast dostupnosti nabídek v tabulce v další části). Pokud je nabídka dostupná v příslušné oblasti, musí mít uživatel pracovní prostor v oblasti Azure, ve které je model dostupný pro nasazení nebo vyladění (viz sloupce "Oblast pracovního prostoru" v tabulce níže).
| Model | Oblast dostupnosti nabídek | Oblast pracovního prostoru pro nasazení | Oblast pracovního prostoru pro jemné ladění |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Spravované země Microsoftu | USA – východ 2, Švédsko – střed | Není k dispozici |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Spravované země Microsoftu | USA – východ 2, USA – západ 3 | USA – západ 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Spravované země Microsoftu | USA – východ 2, USA – západ 3 | Není k dispozici |
| Mistral-Large Mistral Small |
Spravované země Microsoftu | USA – východ 2, Švédsko – střed | Není k dispozici |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Spravované země Microsoftu Japonsko |
USA – východ 2, Švédsko – střed | Není k dispozici |
Bezpečnost obsahu pro modely nasazené prostřednictvím MaaS
Azure Machine Učení implementuje výchozí konfiguraci filtrů moderování textu Sejf ty obsahu Azure AI pro škodlivý obsah (sexuální obsah, násilí, nenávist a sebepoškozování) pro jazykové modely nasazené prostřednictvím MaaS. Přečtěte si další informace o filtrování obsahu. Filtrování obsahu probíhá synchronně, protože procesy služby vyzvou k vygenerování obsahu a pro takové použití se vám můžou účtovat samostatně podle cen AACS. Dokončete tento formulář a zakažte filtrování obsahu pro modely nasazené jako služba.
Další informace
- Naučte se používat základní modely ve službě Azure Machine Učení k vyladění, vyhodnocení a nasazení pomocí studio Azure Machine Learning uživatelských rozhraní nebo metod založených na kódu.
- Prozkoumejte katalog modelů v studio Azure Machine Learning. K prozkoumání katalogu potřebujete pracovní prostor Azure Machine Učení.
- Vyhodnoťte, vylaďte a nasaďte modely kurátorované službou Azure Machine Učení.