Modelcatalogus en verzamelingen
De modelcatalogus in Azure Machine Learning-studio is de hub voor het detecteren en gebruiken van een breed scala aan modellen waarmee u Generatieve AI-toepassingen kunt bouwen. De modelcatalogus bevat honderden modellen voor modelproviders, zoals de Azure OpenAI-service, Mistral, Meta, Cohere, Nvidia, Hugging Face, inclusief modellen die zijn getraind door Microsoft. Modellen van andere providers dan Microsoft zijn niet-Microsoft-producten, zoals gedefinieerd in de productvoorwaarden van Microsoft, en onderhevig aan de voorwaarden die bij het model worden geleverd.
Modelverzamelingen
Modellen zijn ingedeeld op verzamelingen in de modelcatalogus. Er zijn drie typen verzamelingen in de modelcatalogus:
- Modellen gecureerd door Azure AI: de populairste open gewichts- en proprietymodellen van derden die zijn verpakt en geoptimaliseerd om naadloos te kunnen werken op het Azure AI-platform. Het gebruik van deze modellen is onderhevig aan de licentievoorwaarden van de modelprovider die bij het model worden geleverd. Wanneer het model wordt geïmplementeerd in Azure Machine Learning, is de beschikbaarheid van het model onderhevig aan de toepasselijke Azure SLA en biedt Microsoft ondersteuning voor implementatieproblemen. Modellen van partners zoals Meta, NVIDIA, Mistral AI zijn voorbeelden van modellen die beschikbaar zijn in de verzameling 'Gecureerd door Azure AI' in de catalogus. Deze modellen kunnen worden geïdentificeerd met een groen vinkje op de modeltegels in de catalogus of u kunt filteren op de verzameling 'Gecureerd door Azure AI'.
- Azure OpenAI-modellen, exclusief beschikbaar in Azure: Flagship Azure OpenAI-modellen via de verzameling 'Azure OpenAI' via een integratie met de Azure OpenAI-service. Deze modellen worden ondersteund door Microsoft en hun gebruik is onderhevig aan de productvoorwaarden en SLA voor De Azure OpenAI-service.
- Open modellen van de Hugging Face-hub: Honderden modellen van de HuggingFace-hub zijn toegankelijk via de verzameling 'Hugging Face' voor realtime deductie met online eindpunten. Met het knuffelen van gezichten worden modellen gemaakt en onderhouden die worden vermeld in de huggingFace-verzameling. Gebruik HuggingFace-forum of HuggingFace-ondersteuning voor hulp. Meer informatie over het implementeren van modellen van Hugging Face.
Suggesties voor toevoegingen aan de modelcatalogus: u kunt een aanvraag indienen om een model toe te voegen aan de modelcatalogus met behulp van dit formulier.
Overzicht van mogelijkheden van modelcatalogus
Raadpleeg de Azure OpenAI-service voor informatie over Azure OpenAI-modellen.
Voor modellen gecureerd door Azure AI en Open-modellen van de Hugging Face-hub, kunnen sommige hiervan worden geïmplementeerd als realtime-eindpunten en sommige hiervan zijn beschikbaar om te worden geïmplementeerd met betalen per gebruik-facturering (Modellen als een service). Deze modellen kunnen worden gedetecteerd, vergeleken, geëvalueerd, verfijnd (indien ondersteund) en op schaal worden geïmplementeerd en geïntegreerd in uw Generatieve AI-toepassingen met beveiliging en gegevensgovernance op bedrijfsniveau.
- Ontdekken: Bekijk modelkaarten, probeer voorbeelddeductie en blader door codevoorbeelden om het model te evalueren, af te stemmen of te implementeren.
- Vergelijken: Vergelijk benchmarks tussen modellen en gegevenssets die beschikbaar zijn in de branche om te beoordelen welke voldoet aan uw bedrijfsscenario.
- Evalueren: Evalueren of het model geschikt is voor uw specifieke workload door uw eigen testgegevens op te geven. Metrische evaluatiegegevens maken het eenvoudig om te visualiseren hoe goed het geselecteerde model in uw scenario is uitgevoerd.
- Afstellen: Pas verfijnde modellen aan met behulp van uw eigen trainingsgegevens en kies het beste model door metrische gegevens te vergelijken in al uw taken voor het afstemmen van taken. Ingebouwde optimalisaties versnellen het afstemmen en verminderen het geheugen en de rekenkracht die nodig zijn voor het afstemmen.
- Implementeren: Implementeer vooraf getrainde modellen of nauwkeurig afgestemde modellen voor deductie. Modellen die kunnen worden geïmplementeerd op realtime-eindpunten, kunnen ook worden gedownload.
Modelimplementatie: realtime-eindpunten en -modellen als een service (betalen per gebruik)
ModelCatalogus biedt twee verschillende manieren om modellen uit de catalogus te implementeren voor uw gebruik: realtime-eindpunten en deductie per gebruik. De implementatieopties die beschikbaar zijn voor elk model variëren; meer informatie over de functies van de implementatieopties en de opties die beschikbaar zijn voor specifieke modellen, vindt u in de onderstaande tabellen. Meer informatie over gegevensverwerking met de implementatieopties.
| Functies | Realtime deductie met beheerde online-eindpunten | Betalen per gebruik met Models as a Service |
|---|---|---|
| Implementatie-ervaring en facturering | Modelgewichten worden geïmplementeerd op toegewezen virtuele machines met beheerde online-eindpunten. Het beheerde online-eindpunt, dat een of meer implementaties kan hebben, maakt een REST API beschikbaar voor deductie. U wordt gefactureerd voor de kernuren van de virtuele machine die door de implementaties worden gebruikt. | Toegang tot modellen is via een implementatie die een API in richt voor toegang tot het model. De API biedt toegang tot het model dat wordt gehost in een centrale GPU-pool, beheerd door Microsoft, voor deductie. Deze toegangsmodus wordt 'Modellen als een service' genoemd. U wordt gefactureerd voor invoer en uitvoer voor de API's, meestal in tokens; prijsinformatie wordt verstrekt voordat u implementeert. |
| API-verificatie | Sleutels en Verificatie van Microsoft Entra-id's. Meer informatie. | Alleen sleutels. |
| Inhoudsveiligheid | Api's van de Azure Content Safety-service gebruiken. | Azure AI Content Safety-filters zijn geïntegreerd met deductie-API's. Azure AI Content Safety-filters kunnen afzonderlijk worden gefactureerd. |
| Netwerkisolatie | Beheerd virtueel netwerk met online-eindpunten. Meer informatie. |
Implementatieopties
| Model | Realtime-eindpunten | Betalen per gebruik |
|---|---|---|
| Familiemodellen van Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistrale familiemodellen | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Familiemodellen in cohere | Niet beschikbaar | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-meertalige |
| Andere modellen | Beschikbaar | Niet beschikbaar |
Realtime-eindpunten
De mogelijkheid om modellen te implementeren in realtime-eindpunten bouwt voort op platformmogelijkheden van Azure Machine Learning om naadloze integratie mogelijk te maken, in de hele LLMOps-levenscyclus, van de brede verzameling modellen in de modelcatalogus.
Hoe worden modellen beschikbaar gesteld voor realtime-eindpunten?
De modellen worden beschikbaar gesteld via Azure Machine Learning-registers waarmee ML voor het eerst machine learning-assets host en distribueert, zoals modelgewichten, containerruntimes voor het uitvoeren van de modellen, pijplijnen voor het evalueren en verfijnen van de modellen en gegevenssets voor benchmarks en voorbeelden. Deze ML-registers bouwen voort op een zeer schaalbare en bedrijfsklare infrastructuur die:
Biedt toegangsmodelartefacten met lage latentie voor alle Azure-regio's met ingebouwde geo-replicatie.
Ondersteunt bedrijfsbeveiligingsvereisten als het beperken van de toegang tot modellen met Azure Policy en veilige implementatie met beheerde virtuele netwerken.
Modellen evalueren en verfijnen die zijn geïmplementeerd als realtime-eindpunten
U kunt de verzameling 'Gecureerd door Azure AI' evalueren en afstemmen in Azure Machine Learning met behulp van Azure Machine Learning-pijplijnen. U kunt ervoor kiezen om uw eigen evaluatie- en verfijningscode en alleen de gewichten van modellen te gebruiken of Azure Machine Learning-onderdelen te gebruiken die ingebouwde evaluatie- en afstemmingsmogelijkheden bieden. Volg deze koppeling voor meer informatie.
Modellen implementeren voor deductie als realtime-eindpunten
Modellen die beschikbaar zijn voor implementatie naar realtime-eindpunten, kunnen worden geïmplementeerd op Azure Machine Learning Online-eindpunten voor realtime deductie of kunnen worden gebruikt voor Azure Machine Learning Batch-deductie om uw gegevens te verwerken. Als u implementeert op online-eindpunten, moet u een quotum voor virtuele machines in uw Azure-abonnement hebben voor de specifieke SKU's die nodig zijn om het model optimaal uit te voeren. Met sommige modellen kunt u tijdelijk een gedeeld quotum implementeren voor het testen van het model. Meer informatie over het implementeren van modellen:
- Meta Llama-modellen implementeren
- Open modellen implementeren die zijn gemaakt door Azure AI
- Hugging Face-modellen implementeren
Generatieve AI-apps bouwen met realtime-eindpunten
Promptstroom biedt mogelijkheden voor het maken van prototypen, experimenteren, herhalen en implementeren van uw AI-toepassingen. U kunt modellen gebruiken die zijn geïmplementeerd als realtime-eindpunten in Prompt Flow met het hulpprogramma Open Model LLM. U kunt ook de REST API gebruiken die beschikbaar wordt gesteld door de realtime-eindpunten in populaire LLM-hulpprogramma's zoals LangChain met de Azure Machine Learning-extensie.
Inhoudsveiligheid voor modellen die zijn geïmplementeerd als realtime-eindpunten
De Azure AI Content Safety-service (AACS) is beschikbaar voor gebruik met realtime-eindpunten om te controleren op verschillende categorieën schadelijke inhoud, zoals seksuele inhoud, geweld, haat en zelfschade en geavanceerde bedreigingen, zoals jailbreakrisicodetectie en detectie van beveiligde materiaalteksten. U kunt dit notebook raadplegen voor referentieintegratie met AACS voor Llama 2 of het hulpprogramma Content Safety (Text) in Prompt Flow gebruiken om reacties van het model door te geven aan AACS voor screening. U wordt afzonderlijk gefactureerd volgens de AACS-prijzen voor dergelijk gebruik.
Werken met modellen die zich niet in de modelcatalogus bevinden
Voor modellen die niet beschikbaar zijn in de modelcatalogus, biedt Azure Machine Learning een open en uitbreidbaar platform voor het werken met modellen van uw keuze. U kunt een model met elk framework of elke runtime gebruiken met behulp van de open en uitbreidbare platformmogelijkheden van Azure Machine Learning, zoals Azure Machine Learning-omgevingen voor containers die frameworks en runtimes en Azure Machine Learning-pijplijnen voor code kunnen verpakken om de modellen te evalueren of af te stemmen. Raadpleeg dit notebook voor voorbeeldverwijzing voor het importeren van modellen en het werken met de ingebouwde runtimes en pijplijnen.
Modellen als een dienst (betalen per gebruik)
Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd met betalen per gebruik-facturering; deze implementatiemethode wordt Models-as-a Service (MaaS) genoemd. Modellen die beschikbaar zijn via MaaS, worden gehost in infrastructuur die wordt beheerd door Microsoft, waardoor api-gebaseerde toegang tot het model van de modelprovider mogelijk is. Api-toegang kan de kosten voor het openen van een model aanzienlijk verlagen en de inrichtingservaring aanzienlijk vereenvoudigen. De meeste MaaS-modellen worden geleverd met prijzen op basis van tokens.
Hoe worden modellen van derden beschikbaar gesteld in MaaS?
Modellen die beschikbaar zijn voor betalen per gebruik-implementatie worden aangeboden door de modelprovider, maar gehost in de door Microsoft beheerde Azure-infrastructuur en toegankelijk via API. Modelproviders definiëren de licentievoorwaarden en stellen de prijs in voor het gebruik van hun modellen, terwijl Azure Machine Learning Service de hostinginfrastructuur beheert, de deductie-API's beschikbaar maakt en fungeert als de gegevensverwerker voor prompts die worden verzonden en inhoudsuitvoer door modellen die zijn geïmplementeerd via MaaS. Meer informatie over gegevensverwerking voor MaaS vindt u in het artikel over gegevensprivacy .
Betalen voor modelgebruik in MaaS
De detectie-, abonnements- en verbruikservaring voor modellen die zijn geïmplementeerd via MaaS, bevindt zich in Azure AI Studio en Azure Machine Learning-studio. Gebruikers accepteren licentievoorwaarden voor het gebruik van de modellen en prijsinformatie voor verbruik wordt verstrekt tijdens de implementatie. Modellen van externe providers worden gefactureerd via Azure Marketplace, in overeenstemming met de gebruiksvoorwaarden van de commerciële marketplace. Modellen van Microsoft worden gefactureerd met behulp van Azure-meters als First Party Consumption Services. Zoals beschreven in de productvoorwaarden, worden First Party Consumption Services aangeschaft met behulp van Azure-meters, maar zijn ze niet onderworpen aan azure-servicevoorwaarden. Het gebruik van deze modellen is onderhevig aan de opgegeven licentievoorwaarden.
Modellen implementeren voor deductie via MaaS
Door een model te implementeren via MaaS, kunnen gebruikers toegang krijgen tot het voorbereiden op het gebruik van deductie-API's zonder dat ze de infrastructuur hoeven te configureren of GPU's hoeven in te richten, waardoor technische tijd en resources worden bespaard. Deze API's kunnen worden geïntegreerd met verschillende LLM-hulpprogramma's en het gebruik wordt gefactureerd zoals beschreven in de vorige sectie.
Modellen verfijnen via MaaS met betalen per gebruik
Voor modellen die beschikbaar zijn via MaaS en ondersteuning bieden voor afstemming, kunnen gebruikers profiteren van gehoste afstemming met betalen per gebruik-facturering om de modellen aan te passen aan de hand van gegevens die ze leveren. Zie een Llama 2-model verfijnen in Azure AI Studio voor meer informatie.
RAG met modellen die zijn geïmplementeerd via MaaS
Met Azure AI Studio kunnen gebruikers gebruikmaken van Vector Indexen en Augmented Generation ophalen. Modellen die via MaaS kunnen worden geïmplementeerd, kunnen worden gebruikt om insluitingen en deductie te genereren op basis van aangepaste gegevens om antwoorden te genereren die specifiek zijn voor hun use-case. Zie Uitgebreide generatie en indexen ophalen voor meer informatie.
Regionale beschikbaarheid van aanbiedingen en modellen
Betalen per gebruik-implementatie is alleen beschikbaar voor gebruikers van wie het Azure-abonnement deel uitmaakt van een factureringsrekening in een land waarin de modelprovider de aanbieding beschikbaar heeft gesteld (zie beschikbaarheidsregio voor aanbiedingen in de tabel in de volgende sectie). Als de aanbieding beschikbaar is in de relevante regio, moet de gebruiker beschikken over een werkruimte in de Azure-regio waarin het model beschikbaar is voor implementatie of afstemming, zoals van toepassing (zie de kolommen Werkruimteregio in de onderstaande tabel).
| Model | Beschikbaarheidsregio van aanbieding | Werkruimteregio voor implementatie | Werkruimteregio voor finetuning |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Door Microsoft beheerde landen | VS - oost 2, Zweden - centraal | Niet beschikbaar |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Door Microsoft beheerde landen | VS - oost 2, VS - west 3 | US - west 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Door Microsoft beheerde landen | VS - oost 2, VS - west 3 | Niet beschikbaar |
| Mistral-large Mistral Small |
Door Microsoft beheerde landen | VS - oost 2, Zweden - centraal | Niet beschikbaar |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-meertalige |
Door Microsoft beheerde landen Japan |
VS - oost 2, Zweden - centraal | Niet beschikbaar |
Inhoudsveiligheid voor modellen die zijn geïmplementeerd via MaaS
Azure Machine Learning implementeert een standaardconfiguratie van tekstbeheerfilters voor Azure AI Content Safety voor schadelijke inhoud (seksuele inhoud, geweld, haat en zelfschadiging) voor taalmodellen die zijn geïmplementeerd via MaaS. Meer informatie over inhoudsfiltering. Inhoudsfilters worden synchroon uitgevoerd wanneer de service vraagt om inhoud te genereren. Mogelijk wordt u afzonderlijk gefactureerd op basis van de AACS-prijzen voor dergelijk gebruik. Vul dit formulier in om inhoudsfilters uit te schakelen voor modellen die als een service zijn geïmplementeerd.
Meer informatie
- Meer informatie over het gebruik van basismodellen in Azure Machine Learning voor het verfijnen, evalueren en implementeren met behulp van Azure Machine Learning-studio UI- of op code gebaseerde methoden.
- Verken de modelcatalogus in Azure Machine Learning-studio. U hebt een Azure Machine Learning-werkruimte nodig om de catalogus te verkennen.
- Evalueer, verfijn en implementeer modellen die zijn samengesteld door Azure Machine Learning.