Modellen implementeren als serverloze API's

In dit artikel leert u hoe u een model implementeert vanuit de modelcatalogus als een serverloze API met facturering op basis van betalen per gebruik-token.

Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als een serverloze API met betalen per gebruik-facturering. Dit soort implementatie biedt een manier om modellen als API te gebruiken zonder deze te hosten in uw abonnement, terwijl de bedrijfsbeveiliging en -naleving die organisaties nodig hebben, behouden blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

Vereisten

• Een Azure-abonnement met een geldige betalingswijze. Gratis of proefversie van Azure-abonnementen werkt niet. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account .

• Een Azure AI Studio-hub.

• Een Azure AI Studio-project.

• Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in Azure AI Studio. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de Azure AI Developer-rol voor de resourcegroep zijn toegewezen. Zie Op rollen gebaseerd toegangsbeheer in Azure AI Studio voor meer informatie over machtigingen.

• U moet de volgende software installeren om te werken met Azure AI Studio:

  AI Studio

  U kunt elke compatibele webbrowser gebruiken om door Azure AI Studio te navigeren.

  Azure-CLI

  De Azure CLI en de ml-extensie voor Azure Machine Learning.

  az extension add -n ml
  

  Als u de extensie al hebt geïnstalleerd, controleert u of de nieuwste versie is geïnstalleerd.

  az extension update -n ml
  

  Zodra de extensie is geïnstalleerd, configureert u deze:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Installeer de Azure Machine Learning SDK voor Python.

  pip install -U azure-ai-ml
  

  Nadat de installatie is uitgevoerd, importeert u de benodigde naamruimten en maakt u een client die is verbonden met uw project:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

  ARM

  U kunt elke compatibele webbrowser gebruiken om ARM-sjablonen te implementeren in Microsoft Azure Portal of een van de implementatiehulpprogramma's te gebruiken. In deze zelfstudie wordt de Azure CLI gebruikt.

Uw model en model-id zoeken in de modelcatalogus

1. Meld u aan bij Azure AI Studio.

2. Voor modellen die worden aangeboden via Azure Marketplace, moet u ervoor zorgen dat uw account beschikt over de rolmachtigingen voor Azure AI-ontwikkelaars voor de resourcegroep of dat u voldoet aan de machtigingen die nodig zijn om u te abonneren op modelaanbiedingen.

   Modellen die worden aangeboden door niet-Microsoft-providers (bijvoorbeeld Llama- en Mistral-modellen) worden gefactureerd via Azure Marketplace. Voor dergelijke modellen moet u uw project abonneren op het specifieke modelaanbod. Modellen die worden aangeboden door Microsoft (bijvoorbeeld Phi-3-modellen) hebben deze vereiste niet, omdat facturering anders wordt uitgevoerd. Zie Facturering voor serverloze API's voor meer informatie over facturering voor serverloze implementatie van modellen in de modelcatalogus.

3. Selecteer Modelcatalogus in de linkerzijbalk en zoek de modelkaart van het model dat u wilt implementeren. In dit artikel selecteert u een Meta-Llama-3-8B-Instruct-model .

   1. Als u het model implementeert met behulp van Azure CLI, Python of ARM, kopieert u de model-id.

      Belangrijk

      Neem de versie niet op bij het kopiëren van de model-id. Serverloze API-eindpunten implementeren altijd de nieuwste versie van het model. Bijvoorbeeld, voor de model-id azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, kopieer azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

In de volgende sectie worden de stappen beschreven voor het abonneren van uw project op een modelaanbod. U kunt deze sectie overslaan en naar Het model implementeren naar een serverloos API-eindpunt gaan als u een Microsoft-model implementeert.

Uw project abonneren op het modelaanbod

Voor niet-Microsoft-modellen die worden aangeboden via Azure Marketplace, kunt u ze implementeren op serverloze API-eindpunten om hun voorspellingen te gebruiken. Als het de eerste keer is dat u het model in het project implementeert, moet u uw project abonneren op het specifieke modelaanbod van Azure Marketplace. Elk project heeft een eigen abonnement op de specifieke Azure Marketplace-aanbieding van het model, waarmee u uitgaven kunt beheren en bewaken.

Notitie

Modellen die via Azure Marketplace worden aangeboden, zijn beschikbaar voor implementatie naar serverloze API-eindpunten in specifieke regio's. Controleer de beschikbaarheid van modellen en regio's voor serverloze API-implementaties om te controleren welke modellen en regio's beschikbaar zijn. Als de werkruimte die u nodig hebt niet wordt vermeld, kunt u implementeren in een werkruimte in een ondersteunde regio en vervolgens serverloze API-eindpunten uit een andere werkruimte gebruiken.

1. Maak het Marketplace-abonnement van het model. Wanneer u een abonnement maakt, accepteert u de voorwaarden die zijn gekoppeld aan de modelaanbieding.

   AI Studio

   1. Selecteer implementeren op de pagina Details van het model en selecteer vervolgens Serverloze API met Azure AI Content Safety (preview) om de implementatiewizard te openen.

   2. Selecteer het project waarin u uw modellen wilt implementeren. Als u de aanbieding voor serverloze API-modelimplementatie wilt gebruiken, moet uw project behoren tot een van de regio's die worden ondersteund voor serverloze implementatie voor het specifieke model.

      

   3. Als u de opmerking Ziet dat u al een Azure Marketplace-abonnement voor dit project hebt, hoeft u het abonnement niet te maken omdat u er al een hebt. U kunt doorgaan met het implementeren van het model naar een serverloos API-eindpunt.

   4. Selecteer in de implementatiewizard de koppeling naar azure Marketplace-voorwaarden voor meer informatie over de gebruiksvoorwaarden. U kunt ook het tabblad Prijzen en voorwaarden selecteren voor meer informatie over prijzen voor het geselecteerde model.

   5. Selecteer Abonneren en implementeren.

   Azure-CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Gebruik het vorige bestand om het abonnement te maken:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Gebruik de volgende sjabloon om een modelabonnement te maken:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

2. Nadat u het project hebt geabonneerd voor het specifieke Azure Marketplace-aanbod, hoeven volgende implementaties van dezelfde aanbieding in hetzelfde project zich niet opnieuw te abonneren.

3. U kunt op elk gewenst moment de modelaanbiedingen zien waarop uw project momenteel is geabonneerd:

   AI Studio

   1. Ga naar de Azure Portal.

   2. Navigeer naar de resourcegroep waartoe het project behoort.

   3. Selecteer SaaS in het filter Type.

   4. U ziet alle aanbiedingen waarvoor u momenteel bent geabonneerd.

   5. Selecteer een resource om de details te bekijken.

   Azure-CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Het model implementeren naar een serverloos API-eindpunt

Nadat u een abonnement voor een niet-Microsoft-model hebt gemaakt, kunt u het gekoppelde model implementeren op een serverloos API-eindpunt. Voor Microsoft-modellen (zoals Phi-3-modellen) hoeft u geen abonnement te maken.

Het serverloze API-eindpunt biedt een manier om modellen te gebruiken als EEN API zonder deze te hosten in uw abonnement, terwijl organisaties voor enterprise-beveiliging en -naleving nodig blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

In deze sectie maakt u een eindpunt met de naam meta-llama3-8b-qwerty.

1. Het serverloze eindpunt maken

   AI Studio

   1. Als u een Microsoft-model wilt implementeren waarvoor u zich niet hoeft te abonneren op een modelaanbod:

      1. Selecteer Implementeren en selecteer vervolgens Serverloze API met Azure AI Content Safety (preview) om de implementatiewizard te openen.
      2. Selecteer het project waarin u uw model wilt implementeren. U ziet dat niet alle regio's worden ondersteund.

   2. Als u uw project zojuist hebt geabonneerd op de modelaanbieding in de vorige sectie, kunt u ook implementeren selecteren voor een niet-Microsoft-model waarvoor een modelabonnement is vereist. U kunt ook Doorgaan selecteren om te implementeren (als de implementatiewizard de opmerking Bevat dat u al een Azure Marketplace-abonnement voor dit project hebt).

      

   3. Geef de implementatie een naam. Deze naam maakt deel uit van de URL van de implementatie-API. Deze URL moet uniek zijn in elke Azure-regio.

      

   4. Selecteer Implementeren. Wacht totdat de implementatie gereed is en u wordt omgeleid naar de pagina Implementaties.

   Azure-CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Gebruik het endpoint.yml-bestand om het eindpunt te maken:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Gebruik de volgende sjabloon om een eindpunt te maken:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Maak vervolgens de implementatie:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Het kan enkele minuten duren voordat de Azure-implementatiesjabloon is voltooid. Wanneer dit is voltooid, ziet u een bericht met het resultaat:

   "provisioningState": "Succeeded",
   

2. U kunt op elk gewenst moment de eindpunten zien die in uw project zijn geïmplementeerd:

   AI Studio

   1. Ga naar uw project.

   2. Selecteer de sectie Implementaties

   3. Serverloze API-eindpunten worden weergegeven.

   Azure-CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   U kunt de hulpprogramma's voor resourcebeheer gebruiken om een query uit te voeren op de resources. De volgende code maakt gebruik van Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Het gemaakte eindpunt maakt gebruik van sleutelverificatie voor autorisatie. Gebruik de volgende stappen om de sleutels op te halen die zijn gekoppeld aan een bepaald eindpunt.

   AI Studio

   U kunt terugkeren naar de pagina Implementaties, de implementatie selecteren en de doel-URI en sleutel van het eindpunt noteren. Gebruik deze om de implementatie aan te roepen en voorspellingen te genereren.

   Notitie

   Wanneer u Azure Portal gebruikt, worden serverloze API-eindpunten niet standaard weergegeven in de resourcegroep. Gebruik de optie Verborgen typen weergeven om deze weer te geven in de resourcegroep.

   Azure-CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Gebruik REST API's om query's uit te voeren op deze informatie.

4. Op dit moment is uw eindpunt gereed om te worden gebruikt.

5. Als u deze implementatie wilt gebruiken vanuit een ander project of een andere hub, of als u van plan bent om promptstroom te gebruiken om intelligente toepassingen te bouwen, moet u een verbinding maken met de serverloze API-implementatie. Zie Geïmplementeerde serverloze API-eindpunten gebruiken vanuit een ander project of vanuit een promptstroom voor meer informatie over het configureren van een bestaand serverloze API-eindpunt op een nieuw project of hub.

   Tip

   Als u een promptstroom gebruikt in hetzelfde project of dezelfde hub waar de implementatie is geïmplementeerd, moet u nog steeds de verbinding maken.

Het serverloze API-eindpunt gebruiken

Modellen die zijn geïmplementeerd in Azure Machine Learning en Azure AI Studio in serverloze API-eindpunten ondersteunen de Azure AI-modeldeductie-API die een gemeenschappelijke set mogelijkheden voor basismodellen beschikbaar maakt en die door ontwikkelaars kan worden gebruikt om voorspellingen van een diverse set modellen op een uniforme en consistente manier te gebruiken.

Lees meer over de mogelijkheden van deze API en hoe u deze kunt gebruiken bij het bouwen van toepassingen.

Eindpunten en abonnementen verwijderen

U kunt modelabonnementen en -eindpunten verwijderen. Als u een modelabonnement verwijdert, wordt elk gekoppeld eindpunt beschadigd en onbruikbaar.

AI Studio

Een serverloos API-eindpunt verwijderen:

1. Ga naar Azure AI Studio.

2. Ga naar Onderdelenimplementaties>.

3. Open de implementatie die u wilt verwijderen.

4. Selecteer Verwijderen.

Het gekoppelde modelabonnement verwijderen:

1. Ga naar de Azure-portal

2. Navigeer naar de resourcegroep waartoe het project behoort.

3. Selecteer SaaS in het filter Type.

4. Selecteer het abonnement dat u wilt verwijderen.

5. Selecteer Verwijderen.

Azure-CLI

Een serverloos API-eindpunt verwijderen:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Het gekoppelde modelabonnement verwijderen:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

Een serverloos API-eindpunt verwijderen:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Het gekoppelde modelabonnement verwijderen:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

U kunt de hulpprogramma's voor resourcebeheer gebruiken om de resources te beheren. De volgende code maakt gebruik van Azure CLI:

az resource delete --name <resource-name>

Kosten- en quotumoverwegingen voor modellen die zijn geïmplementeerd als serverloze API-eindpunten

Het quotum wordt beheerd per implementatie. Elke implementatie heeft een frequentielimiet van 200.000 tokens per minuut en 1000 API-aanvragen per minuut. Momenteel beperken we echter tot één implementatie per model per project. Neem contact op met de ondersteuning voor Microsoft Azure als de huidige frequentielimieten niet voldoende zijn voor uw scenario's.

Kosten voor Microsoft-modellen

U vindt de prijsinformatie op het tabblad Prijzen en voorwaarden van de implementatiewizard bij het implementeren van Microsoft-modellen (zoals Phi-3-modellen) als serverloze API-eindpunten.

Kosten voor niet-Microsoft-modellen

Niet-Microsoft-modellen die zijn geïmplementeerd als serverloze API-eindpunten, worden aangeboden via Azure Marketplace en geïntegreerd met Azure AI Studio voor gebruik. U vindt de prijzen van Azure Marketplace bij het implementeren of verfijnen van deze modellen.

Telkens wanneer een project zich abonneert op een bepaalde aanbieding vanuit Azure Marketplace, wordt er een nieuwe resource gemaakt om de kosten te traceren die zijn gekoppeld aan het verbruik. Dezelfde resource wordt gebruikt om de kosten te traceren die zijn gekoppeld aan deductie en verfijning; er zijn echter meerdere meters beschikbaar om elk scenario onafhankelijk te traceren.

Zie Monitoring van kosten voor modellen die worden aangeboden via Azure Marketplace voor meer informatie over het traceren van kosten.

Vereiste machtigingen voor het abonneren op modelaanbiedingen

Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in Azure AI Studio. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de rol Eigenaar, Inzender of Azure AI Developer voor het Azure-abonnement zijn toegewezen. U kunt ook een aangepaste rol aan uw account toewijzen met de volgende machtigingen:

• In het Azure-abonnement—als u de werkruimte wilt abonneren op de Azure Marketplace-aanbieding, één keer voor elke werkruimte, per aanbieding:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• In de resourcegroep—om de SaaS-resource te maken en te gebruiken:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• In de werkruimte—als u eindpunten wilt implementeren (de azure Machine Learning-gegevenswetenschapperrol bevat deze machtigingen al):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Zie Op rollen gebaseerd toegangsbeheer in Azure AI Studio voor meer informatie over machtigingen.

Gerelateerde inhoud

• Beschikbaarheid van regio's voor modellen in serverloze API-eindpunten
• Een Meta Llama 2-model verfijnen in Azure AI Studio