Modellen implementeren als serverloze API-eindpunten

In dit artikel leert u hoe u een model implementeert vanuit de modelcatalogus als een serverloze API met facturering op basis van betalen per gebruik-token.

Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als een serverloze API met betalen per gebruik-facturering. Dit soort implementatie biedt een manier om modellen als API te gebruiken zonder deze te hosten in uw abonnement, terwijl de bedrijfsbeveiliging en -naleving die organisaties nodig hebben, behouden blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

In dit artikel wordt een Meta Llama-modelimplementatie gebruikt voor illustratie. U kunt echter dezelfde stappen gebruiken om alle modellen in de modelcatalogus te implementeren die beschikbaar zijn voor serverloze API-implementatie.

Vereisten

• Een Azure-abonnement met een geldige betalingswijze. Gratis of proefversie van Azure-abonnementen werkt niet. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account .

• Een Azure Machine Learning-werkruimte.

• Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in Azure Machine Learning. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de Azure AI Developer-rol voor de resourcegroep zijn toegewezen. Zie op rollen gebaseerd toegangsbeheer in Azure Machine Learning voor meer informatie over machtigingen.

• U moet de volgende software installeren om te kunnen werken met Azure Machine Learning:

  Studio

  U kunt elke compatibele webbrowser gebruiken om door Azure Machine Learning te navigeren.

  Azure-CLI

  De Azure CLI en de ml-extensie voor Azure Machine Learning.

  az extension add -n ml
  

  Als u de extensie al hebt geïnstalleerd, controleert u of de nieuwste versie is geïnstalleerd.

  az extension update -n ml
  

  Zodra de extensie is geïnstalleerd, configureert u deze:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Installeer de Azure Machine Learning SDK voor Python.

  pip install -U azure-ai-ml
  

  Nadat de installatie is uitgevoerd, importeert u de benodigde naamruimten en maakt u een client die is verbonden met uw werkruimte:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  ARM

  U kunt elke compatibele webbrowser gebruiken om ARM-sjablonen te implementeren in Microsoft Azure Portal of met behulp van een van de implementatiehulpprogramma's. In deze zelfstudie wordt de Azure CLI gebruikt.

Uw model en model-id zoeken in de modelcatalogus

1. Meld u aan bij Azure Machine Learning-studio

2. Voor modellen die worden aangeboden via Azure Marketplace, moet u ervoor zorgen dat uw account beschikt over de rolmachtigingen voor Azure AI-ontwikkelaars voor de resourcegroep of dat u voldoet aan de machtigingen die nodig zijn om u te abonneren op modelaanbiedingen.

   Modellen die worden aangeboden door niet-Microsoft-providers (bijvoorbeeld Llama- en Mistral-modellen) worden gefactureerd via Azure Marketplace. Voor dergelijke modellen moet u uw werkruimte abonneren op het specifieke modelaanbod. Modellen die worden aangeboden door Microsoft (bijvoorbeeld Phi-3-modellen) hebben deze vereiste niet, omdat facturering anders wordt uitgevoerd. Zie Facturering voor serverloze API's voor meer informatie over facturering voor serverloze implementatie van modellen in de modelcatalogus.

3. Ga naar uw werkruimte. Als u de aanbieding voor serverloze API-modelimplementatie wilt gebruiken, moet uw werkruimte behoren tot een van de regio's die worden ondersteund voor serverloze implementatie voor het specifieke model dat u wilt implementeren.

4. Selecteer Modelcatalogus in de linkerzijbalk en zoek de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u een Meta-Llama-3-8B-Instruct-model .

   1. Als u het model implementeert met behulp van Azure CLI, Python SDK of ARM, kopieert u de model-id.

   Belangrijk

   Neem de versie niet op bij het kopiëren van de model-id. Serverloze API-eindpunten implementeren altijd de nieuwste versie van het model. Bijvoorbeeld, voor de model-id azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, kopieer azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

In de volgende sectie worden de stappen beschreven voor het abonneren van uw werkruimte op een modelaanbod. U kunt deze sectie overslaan en naar Het model implementeren naar een serverloos API-eindpunt gaan als u een Microsoft-model implementeert.

Uw werkruimte abonneren op het modelaanbod

Serverloze API-eindpunten kunnen zowel Door Microsoft als niet-Microsoft aangeboden modellen implementeren. Voor Microsoft-modellen (zoals Phi-3-modellen) hoeft u geen Azure Marketplace-abonnement te maken en kunt u ze rechtstreeks implementeren op serverloze API-eindpunten om hun voorspellingen te gebruiken. Voor niet-Microsoft-modellen moet u eerst het abonnement maken. Als het de eerste keer is dat u het model in de werkruimte implementeert, moet u zich abonneren op uw werkruimte voor het specifieke modelaanbod vanuit Azure Marketplace. Elke werkruimte heeft een eigen abonnement op de specifieke Azure Marketplace-aanbieding van het model, waarmee u uitgaven kunt beheren en bewaken.

Notitie

Modellen die via Azure Marketplace worden aangeboden, zijn beschikbaar voor implementatie naar serverloze API-eindpunten in specifieke regio's. Controleer de beschikbaarheid van regio's voor modellen in serverloze API-eindpunten om te controleren welke modellen en regio's beschikbaar zijn. Als de werkruimte die u nodig hebt niet wordt vermeld, kunt u implementeren in een werkruimte in een ondersteunde regio en vervolgens serverloze API-eindpunten uit een andere werkruimte gebruiken.

1. Maak het Marketplace-abonnement van het model. Wanneer u een abonnement maakt, accepteert u de voorwaarden die zijn gekoppeld aan de modelaanbieding. Houd er rekening mee dat u deze stap niet hoeft uit te voeren voor door Microsoft aangeboden modellen (zoals Phi-3).

   Studio

   1. Selecteer Implementeren op de pagina Details van het model. Er wordt een venster implementatieopties geopend, zodat u kunt kiezen tussen serverloze API-implementatie en -implementatie met behulp van een beheerde berekening.

      Notitie

      Voor modellen die alleen kunnen worden geïmplementeerd via serverloze API-implementatie, wordt de wizard serverloze API-implementatie geopend direct nadat u Implementeren hebt geselecteerd op de detailpagina van het model.

   2. Selecteer serverloze API met Azure AI Content Safety (preview) om de wizard serverloze API-implementatie te openen.

   3. Schakel het selectievakje in om het Aankoopbeleid van Microsoft te bevestigen.

      

   4. Als u de opmerking Ziet dat u al een Azure Marketplace-abonnement voor deze werkruimte hebt, hoeft u het abonnement niet te maken omdat u er al een hebt. U kunt doorgaan met het implementeren van het model naar een serverloos API-eindpunt.

   5. Selecteer in de implementatiewizard de koppeling naar azure Marketplace-voorwaarden voor meer informatie over de gebruiksvoorwaarden. U kunt ook het tabblad Prijzen en voorwaarden selecteren voor meer informatie over prijzen voor het geselecteerde model.

   6. Selecteer in de implementatiewizard de koppeling naar azure Marketplace-voorwaarden voor meer informatie over de gebruiksvoorwaarden. U kunt ook het tabblad Details van marketplace-aanbiedingen selecteren voor meer informatie over prijzen voor het geselecteerde model.

   7. Selecteer Abonneren en implementeren.

   Azure-CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Gebruik het subscription.yml-bestand om het abonnement te maken:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Gebruik de volgende sjabloon om een modelabonnement te maken:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

2. Nadat u zich hebt geabonneerd op de werkruimte voor het specifieke Azure Marketplace-aanbod, hoeven volgende implementaties van dezelfde aanbieding in dezelfde werkruimte zich niet opnieuw te abonneren.

3. U kunt op elk gewenst moment zien welke modelaanbiedingen aan uw werkruimte momenteel zijn geabonneerd:

   Studio

   1. Ga naar de Azure-portal

   2. Navigeer naar de resourcegroep waartoe de werkruimte behoort.

   3. Selecteer SaaS in het filter Type.

   4. U ziet alle aanbiedingen waarvoor u momenteel bent geabonneerd.

   5. Selecteer een resource om de details te bekijken.

   Azure-CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Het model implementeren naar een serverloos API-eindpunt

Nadat u een abonnement voor een niet-Microsoft-model hebt gemaakt, kunt u het gekoppelde model implementeren op een serverloos API-eindpunt. Voor Microsoft-modellen (zoals Phi-3-modellen) hoeft u geen abonnement te maken.

Het serverloze API-eindpunt biedt een manier om modellen te gebruiken als EEN API zonder deze te hosten in uw abonnement, terwijl organisaties voor enterprise-beveiliging en -naleving nodig blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

In deze sectie maakt u een eindpunt met de naam meta-llama3-8b-qwerty.

1. Het serverloze eindpunt maken

   Studio

   1. Als u een Microsoft-model wilt implementeren waarvoor u zich niet hoeft te abonneren op een modelaanbod, selecteert u Implementeren en selecteert u vervolgens Serverloze API met Azure AI Content Safety (preview) om de implementatiewizard te openen.

   2. Als u uw werkruimte zojuist hebt geabonneerd op de modelaanbieding in de vorige sectie, kunt u ook implementeren selecteren voor een niet-Microsoft-model waarvoor een modelabonnement is vereist. U kunt ook Doorgaan selecteren om te implementeren (als de implementatiewizard de opmerking Bevat dat u al een Azure Marketplace-abonnement voor deze werkruimte hebt).

      

   3. Geef de implementatie een naam. Deze naam maakt deel uit van de URL van de implementatie-API. Deze URL moet uniek zijn in elke Azure-regio.

      

      Tip

      De optie Inhoudsfilter (preview) is standaard ingeschakeld. Laat de standaardinstelling voor de service staan om schadelijke inhoud te detecteren, zoals haat, zelfbeschadiging, seksuele en gewelddadige inhoud. Zie Inhoudsbeveiliging voor modellen die zijn geïmplementeerd via serverloze API's voor meer informatie over inhoudsfiltering (preview).

   4. Selecteer Implementeren. Wacht totdat de implementatie gereed is en u wordt omgeleid naar de pagina Implementaties.

   Azure-CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Gebruik het endpoint.yml-bestand om het eindpunt te maken:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Gebruik de volgende sjabloon om een eindpunt te maken:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Maak vervolgens de implementatie:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Het kan enkele minuten duren voordat de Azure-implementatiesjabloon is voltooid. Wanneer dit is voltooid, ziet u een bericht met het resultaat:

   "provisioningState": "Succeeded",
   

2. U kunt op elk moment de eindpunten zien die zijn geïmplementeerd in uw werkruimte:

   Studio

   1. Ga naar uw werkruimte.

   2. Selecteer Eindpunten.

   3. Selecteer het tabblad Serverloze eindpunten om de serverloze API-eindpunten weer te geven.

   Azure-CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Het gemaakte eindpunt maakt gebruik van sleutelverificatie voor autorisatie. Gebruik de volgende stappen om de sleutels op te halen die zijn gekoppeld aan een bepaald eindpunt.

   Studio

   1. Als u wilt terugkeren naar de pagina van de implementatie, selecteert u de naam van het eindpunt in de lijst met serverloze eindpunten.
   2. Noteer de doel-URI en sleutel van het eindpunt. Gebruik deze om de implementatie aan te roepen en voorspellingen te genereren.

   Notitie

   Wanneer u Azure Portal gebruikt, worden serverloze API-eindpunten niet standaard weergegeven in de resourcegroep. Gebruik de optie Verborgen typen weergeven om deze weer te geven in de resourcegroep.

   Azure-CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Gebruik REST API's om query's uit te voeren op deze informatie.

4. Op dit moment is uw eindpunt gereed om te worden gebruikt.

5. Als u deze implementatie vanuit een andere werkruimte wilt gebruiken of als u van plan bent om promptstroom te gebruiken om intelligente toepassingen te bouwen, moet u een verbinding maken met de serverloze API-implementatie. Zie Geïmplementeerde serverloze API-eindpunten gebruiken vanuit een andere werkruimte of vanuit een promptstroom voor meer informatie over het configureren van een bestaand serverloos API-eindpunt in een nieuwe werkruimte of hub.

   Tip

   Als u een promptstroom gebruikt in dezelfde werkruimte waarin de implementatie is geïmplementeerd, moet u nog steeds de verbinding maken.

Het serverloze API-eindpunt gebruiken

Modellen die zijn geïmplementeerd in Azure Machine Learning en Azure AI Studio in serverloze API-eindpunten ondersteunen de Azure AI-modeldeductie-API die een gemeenschappelijke set mogelijkheden voor basismodellen beschikbaar maakt en die door ontwikkelaars kan worden gebruikt om voorspellingen van een diverse set modellen op een uniforme en consistente manier te gebruiken.

Lees meer over de mogelijkheden van deze API en hoe u deze kunt gebruiken bij het bouwen van toepassingen.

Eindpunten en abonnementen verwijderen

U kunt modelabonnementen en -eindpunten verwijderen. Als u een modelabonnement verwijdert, wordt elk gekoppeld eindpunt beschadigd en onbruikbaar.

Studio

Een serverloos API-eindpunt verwijderen:

1. Ga naar Azure Machine Learning-studio.

2. Selecteer Eindpunten in de linkerzijbalk.

3. Selecteer het tabblad Serverloze eindpunten om de serverloze API-eindpunten weer te geven.

4. Open het eindpunt dat u wilt verwijderen.

5. Selecteer Verwijderen.

Het gekoppelde modelabonnement verwijderen:

1. Ga naar de Azure-portal

2. Navigeer naar de resourcegroep waartoe de werkruimte behoort.

3. Selecteer SaaS in het filter Type.

4. Selecteer het abonnement dat u wilt verwijderen.

5. Selecteer Verwijderen.

Azure-CLI

Een serverloos API-eindpunt verwijderen:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Het gekoppelde modelabonnement verwijderen:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

Een serverloos API-eindpunt verwijderen:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Het gekoppelde modelabonnement verwijderen:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

U kunt de hulpprogramma's voor resourcebeheer gebruiken om de resources te beheren. De volgende code maakt gebruik van Azure CLI:

az resource delete --name <resource-name>

Kosten- en quotumoverwegingen voor modellen die zijn geïmplementeerd als serverloze API-eindpunten

Het quotum wordt beheerd per implementatie. Elke implementatie heeft een frequentielimiet van 200.000 tokens per minuut en 1000 API-aanvragen per minuut. Momenteel beperken we echter tot één implementatie per model per werkruimte. Neem contact op met de ondersteuning voor Microsoft Azure als de huidige frequentielimieten niet voldoende zijn voor uw scenario's.

Kosten voor Microsoft-modellen

U vindt de prijsinformatie op het tabblad Prijzen en voorwaarden van de implementatiewizard bij het implementeren van Microsoft-modellen (zoals Phi-3-modellen) als serverloze API-eindpunten.

Kosten voor niet-Microsoft-modellen

Niet-Microsoft-modellen die zijn geïmplementeerd als serverloze API-eindpunten, worden aangeboden via Azure Marketplace en geïntegreerd met Azure AI Studio voor gebruik. U vindt de prijzen van Azure Marketplace bij het implementeren of verfijnen van deze modellen.

Telkens wanneer een werkruimte zich abonneert op een bepaalde aanbieding vanuit Azure Marketplace, wordt er een nieuwe resource gemaakt om de kosten te traceren die zijn gekoppeld aan het verbruik. Dezelfde resource wordt gebruikt om de kosten te traceren die zijn gekoppeld aan deductie en verfijning; er zijn echter meerdere meters beschikbaar om elk scenario onafhankelijk te traceren.

Zie Monitoring van kosten voor modellen die worden aangeboden via Azure Marketplace voor meer informatie over het traceren van kosten.

Vereiste machtigingen voor het abonneren op modelaanbiedingen

Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in Azure Machine Learning. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de rol Eigenaar, Inzender of Azure AI Developer voor het Azure-abonnement zijn toegewezen. U kunt ook een aangepaste rol aan uw account toewijzen met de volgende machtigingen:

• In het Azure-abonnement—als u de werkruimte wilt abonneren op de Azure Marketplace-aanbieding, één keer voor elke werkruimte, per aanbieding:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• In de resourcegroep—om de SaaS-resource te maken en te gebruiken:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• In de werkruimte—als u eindpunten wilt implementeren (de azure Machine Learning-gegevenswetenschapperrol bevat deze machtigingen al):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Zie Beheer toegang tot een Azure Machine Learning-werkruimte voor meer informatie over machtigingen.

Gerelateerde inhoud

• Modelcatalogus en verzamelingen
• Geïmplementeerde serverloze API-eindpunten gebruiken vanuit een andere werkruimte