Modelcatalogus en verzamelingen in Azure AI Studio
Belangrijk
Sommige van de functies die in dit artikel worden beschreven, zijn mogelijk alleen beschikbaar in de preview-versie. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
De modelcatalogus in Azure AI Studio is de hub voor het detecteren en gebruiken van een breed scala aan modellen waarmee u Generatieve AI-toepassingen kunt bouwen. De modelcatalogus bevat honderden modellen voor modelproviders, zoals de Azure OpenAI-service, Mistral, Meta, Cohere, Nvidia, Hugging Face, inclusief modellen die zijn getraind door Microsoft. Modellen van andere providers dan Microsoft zijn niet-Microsoft-producten, zoals gedefinieerd in de productvoorwaarden van Microsoft, en onderhevig aan de voorwaarden die bij het model worden geleverd.
Modelverzamelingen
De modelcatalogus organiseert modellen in verzamelingen. Er zijn drie typen verzamelingen in de modelcatalogus:
- Modellen gecureerd door Azure AI: De populairste open modellen van derden en eigen modellen verpakt en geoptimaliseerd om naadloos te werken op het Azure AI-platform. Het gebruik van deze modellen is onderhevig aan de licentievoorwaarden van de modelprovider die bij het model worden geleverd. Wanneer het model wordt geïmplementeerd in Azure AI Studio, is de beschikbaarheid van het model onderhevig aan de toepasselijke Azure SLA en biedt Microsoft ondersteuning voor implementatieproblemen. Modellen van partners zoals Meta, NVIDIA, Mistral AI zijn voorbeelden van modellen die beschikbaar zijn in de verzameling 'Gecureerd door Azure AI' in de catalogus. Deze modellen kunnen worden geïdentificeerd met een groen vinkje op de modeltegels in de catalogus of u kunt filteren op de verzameling 'Gecureerd door Azure AI'.
- Azure OpenAI-modellen, exclusief beschikbaar in Azure: Flagship Azure OpenAI-modellen via de verzameling 'Azure OpenAI' via een integratie met de Azure OpenAI-service. Microsoft ondersteunt deze modellen en het gebruik ervan, afhankelijk van de productvoorwaarden en SLA voor Azure OpenAI Service.
- Open modellen van de Hugging Face-hub: Honderden modellen van de HuggingFace-hub zijn toegankelijk via de verzameling 'Hugging Face' voor realtime deductie met beheerde rekenkracht. Met Hugging Face worden modellen gemaakt en onderhouden die worden vermeld in de HuggingFace-verzameling. Gebruik HuggingFace-forum of HuggingFace-ondersteuning voor hulp. Meer informatie in Open Modellen implementeren .
Suggesties voor toevoegingen aan de model catalogus: u kunt een aanvraag indienen om een model toe te voegen aan de modelcatalogus met behulp van dit formulier.
Overzicht van mogelijkheden van modelcatalogus
Raadpleeg de Azure OpenAI Service voor informatie over Azure OpenAI-modellen.
Sommige modellen in azure AI - en Open-modellen uit de hugging Face-hubverzamelingen kunnen worden geïmplementeerd met een beheerde rekenoptie en sommige modellen zijn beschikbaar om te worden geïmplementeerd met behulp van serverloze API's met betalen per gebruik-facturering. Deze modellen kunnen worden gedetecteerd, vergeleken, geëvalueerd, verfijnd (indien ondersteund) en op schaal worden geïmplementeerd en geïntegreerd in uw Generatieve AI-toepassingen met beveiliging en gegevensgovernance op bedrijfsniveau.
- Ontdekken: Bekijk modelkaarten, probeer voorbeelddeductie en blader door codevoorbeelden om het model te evalueren, af te stemmen of te implementeren.
- Vergelijken: Vergelijk benchmarks tussen modellen en gegevenssets die beschikbaar zijn in de branche om te beoordelen welke voldoet aan uw bedrijfsscenario.
- Evalueren: Evalueren of het model geschikt is voor uw specifieke workload door uw eigen testgegevens op te geven. Metrische evaluatiegegevens maken het eenvoudig om te visualiseren hoe goed het geselecteerde model in uw scenario is uitgevoerd.
- Afstellen: Pas verfijnde modellen aan met behulp van uw eigen trainingsgegevens en kies het beste model door metrische gegevens te vergelijken in al uw taken voor het afstemmen van taken. Ingebouwde optimalisaties versnellen het afstemmen en verminderen het geheugen en de rekenkracht die nodig zijn voor het afstemmen.
- Implementeren: Implementeer vooraf getrainde modellen of nauwkeurig afgestemde modellen voor deductie. Modellen die kunnen worden geïmplementeerd voor beheerde berekeningen, kunnen ook worden gedownload.
Modelimplementatie: Beheerde compute en serverloze API (betalen per gebruik)
Modelcatalogus biedt twee verschillende manieren om modellen uit de catalogus te implementeren voor uw gebruik: beheerde compute- en serverloze API's. De implementatieopties die beschikbaar zijn voor elk model variëren; in de volgende tabellen vindt u meer informatie over de functies van de implementatieopties en de beschikbare opties voor specifieke modellen. Meer informatie over gegevensverwerking met de implementatieopties.
| Functies | Volledig beheerde rekenprocessen | Serverloze API (betalen per gebruik) |
|---|---|---|
| Implementatie-ervaring en -facturering | Modelgewichten worden geïmplementeerd op toegewezen virtuele machines met beheerde online-eindpunten. Het beheerde online-eindpunt, dat een of meer implementaties kan hebben, maakt een REST API beschikbaar voor deductie. U wordt gefactureerd voor de core-uren van de virtuele machine die door de implementaties worden gebruikt. | Toegang tot modellen is via een implementatie die een API inricht voor toegang tot het model. De API biedt toegang tot het model dat wordt gehost en beheerd door Microsoft, voor deductie. U wordt gefactureerd voor invoer en uitvoer voor de API's, meestal in tokens; u krijgt prijsinformatie voordat u implementeert. |
| API-verificatie | Sleutels en verificatie van Microsoft Entra ID. | Alleen sleutels. |
| Inhoudsveiligheid | API's van de Azure Content Safety-service gebruiken. | Azure AI Content Veiligheid-filters zijn geïntegreerd met deductie-API's. Azure AI Content Safety-filters worden afzonderlijk gefactureerd. |
| Netwerkisolatie | Beheerde netwerken configureren voor Azure AI Studio-hubs. | Eindpunten volgen de vlaginstelling voor openbare netwerktoegang (PNA) van uw hub. Zie de sectie Netwerkisolatie voor modellen die zijn geïmplementeerd via serverloze API's voor meer informatie. |
| Modelleren | Volledig beheerde rekenprocessen | Serverloze API (betalen per gebruik) |
|---|---|---|
| Familiemodellen van Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral-familiemodellen | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Familiemodellen in cohere | Niet beschikbaar | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| JAIS | Niet beschikbaar | jais-30b-chat |
| Phi3-gezinsmodellen | Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct |
| Nixtla | Niet beschikbaar | TimeGEN-1 |
| Andere modellen | Beschikbaar | Niet beschikbaar |
Volledig beheerde rekenprocessen
De mogelijkheid om modellen te implementeren als een beheerde berekening bouwt voort op platformmogelijkheden van Azure Machine Learning om naadloze integratie mogelijk te maken, in de gehele LLMOps-levenscyclus, van de brede verzameling modellen in de modelcatalogus.
Hoe worden modellen beschikbaar gesteld voor implementatie als beheerde rekenkracht?
De modellen worden beschikbaar gesteld via Azure Machine Learning-registers, dit maakt een ML-gerichte aanpak voor het hosten en distribueren van machine learning-assets mogelijk, zoals modelgewichten, containerruntimes voor het uitvoeren van de modellen, automatiseringen voor het evalueren en verfijnen van de modellen en gegevenssets voor benchmarks en voorbeelden. Deze ML-registers worden gebouwd op een zeer schaalbare en bedrijfsklare infrastructuur die:
Toegangsmodelartefacten met lage latentie biedt voor alle Azure-regio's met ingebouwde geo-replicatie.
Bedrijfsbeveiligingsvereisten ondersteunt voor het beperken van de toegang tot modellen met Azure Policy en veilige implementatie met beheerde virtuele netwerken.
Modellen implementeren voor deductie met beheerde rekenkracht
Modellen die beschikbaar zijn voor implementatie naar een beheerd rekenproces, kunnen worden geïmplementeerd in Azure Machine Learning Online-eindpunten voor realtime deductie. Voor implementatie in beheerde berekeningen moet u een quotum voor virtuele machines in uw Azure-abonnement hebben voor de specifieke SKU's die nodig zijn om het model optimaal uit te voeren. Met sommige modellen kunt u tijdelijk een gedeeld quotum implementeren voor het testen van het model. Meer informatie over het implementeren van modellen:
Generatieve AI-apps bouwen met beheerde rekenkracht
Prompt flow biedt een geweldige ervaring voor het maken van prototypen. U kunt modellen gebruiken die zijn geïmplementeerd met beheerde berekeningen in promptstroom met het hulpprogramma LLM voor open modellen. U kunt ook de REST API gebruiken die wordt weergegeven door beheerde compute in populaire LLM-hulpprogramma's zoals LangChain met de Azure Machine Learning-extensie.
Inhoudsveiligheid voor modellen die zijn geïmplementeerd als beheerde rekenkracht
De Azure AI Content Safety-service (AACS) is beschikbaar voor gebruik met beheerde berekeningen om te controleren op verschillende categorieën schadelijke inhoud, zoals seksuele inhoud, geweld, haat en zelfschade en geavanceerde bedreigingen, zoals jailbreakrisicodetectie en detectie van beveiligde materiaalteksten. U kunt dit notebook raadplegen voor referentieintegratie met AACS voor Llama 2 of het hulpprogramma Content Safety (Text) in Prompt Flow gebruiken om reacties van het model door te geven aan AACS voor screening. U wordt afzonderlijk gefactureerd volgens de AACS-prijzen voor dergelijk gebruik.
Serverloze API's met betalen per gebruik-facturering
Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als serverloze API's met betalen per gebruik-facturering en bieden een manier om ze als API te gebruiken zonder ze te hosten in uw abonnement. Modellen worden gehost in infrastructuur die wordt beheerd door Microsoft, waardoor API-toegang tot het model van de modelprovider mogelijk is. Api-toegang kan de kosten voor het openen van een model aanzienlijk verlagen en de inrichtingservaring aanzienlijk vereenvoudigen.
Modellen die beschikbaar zijn voor implementatie als serverloze API's met betalen per gebruik-facturering, worden aangeboden door de modelprovider, maar worden gehost in de door Microsoft beheerde Azure-infrastructuur en zijn toegankelijk via API. Modelproviders definiëren de licentievoorwaarden en stellen de prijs in voor het gebruik van hun modellen, terwijl Azure Machine Learning Service de hostinginfrastructuur beheert, de deductie-API's beschikbaar maakt en fungeert als de gegevensverwerker voor prompts die worden verzonden en inhoudsuitvoer door modellen die zijn geïmplementeerd via MaaS. Meer informatie over gegevensverwerking voor MaaS vindt u in het artikel over gegevensprivacy .
Billing
De detectie-, abonnements- en verbruikservaring voor modellen die zijn geïmplementeerd via MaaS, bevindt zich in Azure AI Studio en Azure Machine Learning-studio. Gebruikers accepteren licentievoorwaarden voor het gebruik van de modellen en prijsinformatie voor verbruik wordt verstrekt tijdens de implementatie. Modellen van externe providers worden gefactureerd via Azure Marketplace, in overeenstemming met de gebruiksvoorwaarden van de commerciële marketplace. Modellen van Microsoft worden gefactureerd met behulp van Azure-meters als First Party Consumption Services. Zoals beschreven in de productvoorwaarden, worden First Party Consumption Services aangeschaft met behulp van Azure-meters, maar zijn ze niet onderworpen aan azure-servicevoorwaarden. Het gebruik van deze modellen is onderhevig aan de opgegeven licentievoorwaarden.
Modellen verfijnen
Bepaalde modellen ondersteunen ook serverloze afstemming waarbij gebruikers kunnen profiteren van gehoste afstemming met betalen per gebruik-facturering om de modellen aan te passen met behulp van gegevens die ze leveren. Zie het overzicht van afstemming voor meer informatie.
RAG met modellen die zijn geïmplementeerd als serverloze API's
Met Azure AI Studio kunnen gebruikers gebruikmaken van Vector Indexen en Augmented Generation ophalen. Modellen die kunnen worden geïmplementeerd via een serverloze API, kunnen worden gebruikt voor het genereren van insluitingen en deductie op basis van aangepaste gegevens om antwoorden te genereren die specifiek zijn voor hun use-case. Zie Een vectorindex maken voor meer informatie.
Regionale beschikbaarheid van aanbiedingen en modellen
Betalen per gebruik-facturering is alleen beschikbaar voor gebruikers van wie het Azure-abonnement deel uitmaakt van een factureringsrekening in een land waarin de modelprovider de aanbieding beschikbaar heeft gesteld (zie beschikbaarheidsregio voor aanbiedingen in de tabel in de volgende sectie). Als de aanbieding beschikbaar is in de relevante regio, moet de gebruiker een hub/project hebben in de Azure-regio waar het model beschikbaar is voor implementatie of afstemming, zoals van toepassing (zie de kolommen hub/projectregio in de onderstaande tabel).
| Modelleren | Beschikbaarheidsregio aanbod | Hub/projectregio voor implementatie | Hub/projectregio voor afstemming |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Microsoft-beheerde landen | VS - oost, VS - oost 2, VS - noord-centraal, VS - zuid-centraal, Zweden - centraal, VS - west, VS - west 3 | Niet beschikbaar |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Microsoft-beheerde landen | VS - oost, VS - oost 2, VS - noord-centraal, VS - zuid-centraal, VS - west, VS - west 3 | US - west 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Microsoft-beheerde landen | VS - oost, VS - oost 2, VS - noord-centraal, VS - zuid-centraal, VS - west, VS - west 3, | Niet beschikbaar |
| Mistral Small | Microsoft-beheerde landen | VS - oost, VS - oost 2, VS - noord-centraal, VS - zuid-centraal, Zweden - centraal, VS - west, VS - west 3 | Niet beschikbaar |
| Mistral-Large | Microsoft-beheerde landen Brazilië Hongkong Israël |
VS - oost, VS - oost 2, VS - noord-centraal, VS - zuid-centraal, Zweden - centraal, VS - west, VS - west 3 | Niet beschikbaar |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Microsoft-beheerde landen Japan |
VS - oost, VS - oost 2, VS - noord-centraal, VS - zuid-centraal, Zweden - centraal, VS - west, VS - west 3 | Niet beschikbaar |
| TimeGEN-1 | Microsoft-beheerde landen Mexico Israël |
VS - oost, VS - oost 2, VS - noord-centraal, VS - zuid-centraal, Zweden - centraal, VS - west, VS - west 3 | Niet beschikbaar |
| jais-30b-chat | Microsoft-beheerde landen | VS - oost, VS - oost 2, VS - noord-centraal, VS - zuid-centraal, Zweden - centraal, VS - west, VS - west 3 | Niet beschikbaar |
| Phi-3-mini-4k-instruct | Microsoft-beheerde landen | VS - oost 2, Canada - centraal, Zweden - centraal, VS - west 3 | Niet beschikbaar |
| Phi-3-mini-128k-instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct |
Microsoft-beheerde landen | US - oost 2, Zweden - centraal | Niet beschikbaar |
Inhoudsveiligheid voor modellen die zijn geïmplementeerd via serverloze API's
Belangrijk
Sommige van de functies die in dit artikel worden beschreven, zijn mogelijk alleen beschikbaar in de preview-versie. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
Voor taalmodellen die zijn geïmplementeerd via serverloze API's, implementeert Azure AI een standaardconfiguratie van azure AI Content Safety-tekstbeheerfilters die schadelijke inhoud detecteren, zoals haat, zelfschadig, seksueel en gewelddadig inhoud. Zie voor meer informatie over inhoudsfiltering (preview) de Schadecategorieën in Azure AI Content Veiligheid.
Tip
Inhoudsfilters (preview) zijn niet beschikbaar voor bepaalde modeltypen die worden geïmplementeerd via serverloze API's. Deze modeltypen omvatten het insluiten van modellen en tijdreeksmodellen.
Inhoudsfilters (preview) worden synchroon uitgevoerd wanneer de serviceprocessen vragen om inhoud te genereren. Mogelijk wordt u afzonderlijk gefactureerd volgens de AACS-prijzen voor dergelijk gebruik. U kunt inhoudsfilters (preview) uitschakelen voor afzonderlijke serverloze eindpunten, hetzij op het moment dat u een taalmodel implementeert of later op de pagina met implementatiedetails door de wisselknop voor inhoudsfiltering te selecteren.
Stel dat u besluit een andere API dan de Azure AI-modeldeductie-API te gebruiken om te werken met een model dat is geïmplementeerd via een serverloze API. In een dergelijke situatie is inhoudsfiltering (preview) niet ingeschakeld, tenzij u deze afzonderlijk implementeert met behulp van Azure AI Content Safety. Zie quickstart: Tekstinhoud analyseren voor meer informatie over hoe u aan de slag gaat met Azure AI Content Safety. Als u geen inhoudsfilters (preview) gebruikt bij het werken met modellen die zijn geïmplementeerd via serverloze API's, loopt u een hoger risico om gebruikers bloot te stellen aan schadelijke inhoud.
Netwerkisolatie voor modellen die zijn geïmplementeerd via serverloze API's
Eindpunten voor modellen die als serverloze API's zijn geïmplementeerd, volgen de PNA-vlaginstelling (Public Network Access) van de AI Studio Hub met het project waarin de implementatie bestaat. Als u uw MaaS-eindpunt wilt beveiligen, schakelt u de PNA-vlag uit op uw AI Studio Hub. U kunt binnenkomende communicatie van een client naar uw eindpunt beveiligen met behulp van een privé-eindpunt voor de hub.
De PNA-vlag voor de Azure AI-hub instellen:
- Ga naar de Azure-portal
- Zoek naar de resourcegroep waartoe de hub behoort en selecteer uw Azure AI-hub in de resources die voor deze resourcegroep worden vermeld.
- Gebruik op de pagina Overzicht van de hub het linkernavigatiedeelvenster om naar Instellingennetwerken> te gaan.
- Op het tabblad Openbare toegang kunt u instellingen configureren voor de vlag voor openbare netwerktoegang.
- Sla uw wijzigingen op. Het kan vijf minuten duren voordat uw wijzigingen zijn doorgevoerd.
Beperkingen
- Als u een AI Studio-hub hebt met een privé-eindpunt dat vóór 11 juli 2024 is gemaakt, volgen nieuwe MaaS-eindpunten die zijn toegevoegd aan projecten in deze hub niet de netwerkconfiguratie van de hub. In plaats daarvan moet u een nieuw privé-eindpunt voor de hub maken en nieuwe serverloze API-implementaties maken in het project, zodat de nieuwe implementaties de netwerkconfiguratie van de hub kunnen volgen.
- Als u een AI Studio-hub hebt met MaaS-implementaties die vóór 11 juli 2024 zijn gemaakt en u een privé-eindpunt op deze hub inschakelt, volgen de bestaande MaaS-implementaties de netwerkconfiguratie van de hub niet. Voor serverloze API-implementaties in de hub om de netwerkconfiguratie van de hub te volgen, moet u de implementaties opnieuw maken.
- Momenteel is ondersteuning voor uw gegevens niet beschikbaar voor MaaS-implementaties in privéhubs, omdat privéhubs de PNA-vlag hebben uitgeschakeld.
- Het kan vijf minuten duren voordat een netwerkconfiguratiewijziging (bijvoorbeeld het in- of uitschakelen van de PNA-vlag) is doorgevoerd.
Volgende stap
Feedback
Binnenkort beschikbaar: In de loop van 2024 zullen we GitHub-problemen geleidelijk uitfaseren als het feedbackmechanisme voor inhoud en deze vervangen door een nieuw feedbacksysteem. Zie voor meer informatie: https://aka.ms/ContentUserFeedback.
Feedback verzenden en weergeven voor