Distribuera modeller som serverlösa API:er

Viktigt!

Vissa av de funktioner som beskrivs i den här artikeln kanske bara är tillgängliga i förhandsversionen. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade. Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

I den här artikeln får du lära dig hur du distribuerar en modell från modellkatalogen som ett serverlöst API med betala per användning-tokenbaserad fakturering.

Vissa modeller i modellkatalogen kan distribueras som ett serverlöst API med betala per användning-fakturering. Den här typen av distribution ger ett sätt att använda modeller som ett API utan att vara värd för dem i din prenumeration, samtidigt som den företagssäkerhet och efterlevnad som organisationer behöver bevaras. Det här distributionsalternativet kräver inte kvot från din prenumeration.

Förutsättningar

• En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.

• En Azure AI Studio-hubb.

• Ett Azure AI Studio-projekt.

• Rollbaserade åtkomstkontroller i Azure (Azure RBAC) används för att bevilja åtkomst till åtgärder i Azure AI Studio. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas rollen Azure AI Developer i resursgruppen. Mer information om behörigheter finns i Rollbaserad åtkomstkontroll i Azure AI Studio.

• Du måste installera följande programvara för att arbeta med Azure AI Studio:

  AI Studio

  Du kan använda valfri kompatibel webbläsare för att navigera i Azure AI Studio.

  Azure CLI

  Azure CLI och ml-tillägget för Azure Machine Learning.

  az extension add -n ml
  

  Om du redan har tillägget installerat kontrollerar du att den senaste versionen är installerad.

  az extension update -n ml
  

  När tillägget har installerats konfigurerar du det:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Installera Azure Machine Learning SDK för Python.

  pip install -U azure-ai-ml
  

  När du har installerat det importerar du nödvändiga namnområden och skapar en klient som är ansluten till projektet:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

  ARM

  Du kan använda valfri kompatibel webbläsare för att distribuera ARM-mallar i Microsoft Azure-portalen eller använda något av distributionsverktygen. I den här självstudien används Azure CLI.

Prenumerera ditt projekt på modellerbjudandet

För modeller som erbjuds via Azure Marketplace kan du distribuera dem till serverlösa API-slutpunkter för att använda deras förutsägelser. Om det är första gången du distribuerar modellen i projektet måste du prenumerera på ditt projekt för det specifika modellerbjudandet från Azure Marketplace. Varje projekt har en egen prenumeration på det specifika Azure Marketplace-erbjudandet för modellen, vilket gör att du kan styra och övervaka utgifter.

Kommentar

Modeller som erbjuds via Azure Marketplace är tillgängliga för distribution till serverlösa API-slutpunkter i specifika regioner. Kontrollera modell- och regionstillgängligheten för serverlösa API-distributioner för att kontrollera vilka modeller och regioner som är tillgängliga. Om den du behöver inte visas kan du distribuera till en arbetsyta i en region som stöds och sedan använda serverlösa API-slutpunkter från en annan arbetsyta.

1. Logga in på Azure AI Studio.

2. Se till att ditt konto har rollbehörigheter för Azure AI Developer i resursgruppen eller att du uppfyller de behörigheter som krävs för att prenumerera på modellerbjudanden.

3. Välj Modellkatalog i det vänstra sidofältet och leta reda på modellkortet för den modell som du vill distribuera. I den här artikeln väljer du en Meta-Llama-3-8B-Instruct-modell .

   1. Om du distribuerar modellen med Hjälp av Azure CLI, Python eller ARM kopierar du modell-ID:t.

      Viktigt!

      Inkludera inte versionen när du kopierar modell-ID :t. Serverlösa API-slutpunkter distribuerar alltid modellens senaste tillgängliga version. För modell-ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3:t kopierar du azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instructtill exempel .

   

4. Skapa modellens Marketplace-prenumeration. När du skapar en prenumeration godkänner du de villkor som är associerade med modellerbjudandet.

   AI Studio

   1. På modellens informationssida väljer du Distribuera och sedan Serverlöst API för att öppna distributionsguiden.

   2. Välj det projekt där du vill distribuera dina modeller. Observera att inte alla regioner stöds.

      

   3. Om du ser anteckningen Du har redan en Azure Marketplace-prenumeration för det här projektet behöver du inte skapa prenumerationen eftersom du redan har en. Du kan fortsätta att distribuera modellen till en serverlös API-slutpunkt.

   4. I distributionsguiden väljer du länken till Azure Marketplace-villkor för att lära dig mer om användningsvillkoren. Du kan också välja fliken Priser och villkor för att lära dig mer om priser för den valda modellen.

   5. Välj Prenumerera och Distribuera.

   Azure CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Använd föregående fil för att skapa prenumerationen:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Använd följande mall för att skapa en modellprenumeration:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

5. När du har registrerat projektet för det specifika Azure Marketplace-erbjudandet behöver efterföljande distributioner av samma erbjudande i samma projekt inte prenumerera igen.

6. När som helst kan du se de modellerbjudanden som ditt projekt för närvarande prenumererar på:

   AI Studio

   1. Gå till Azure-portalen.

   2. Gå till den resursgrupp där projektet tillhör.

   3. I filtret Typ väljer du SaaS.

   4. Du ser alla erbjudanden som du prenumererar på.

   5. Välj valfri resurs för att se informationen.

   Azure CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   Du kan använda resurshanteringsverktygen för att köra frågor mot resurserna. Följande kod använder Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Distribuera modellen till en serverlös API-slutpunkt

När du har skapat en modellprenumeration kan du distribuera den associerade modellen till en serverlös API-slutpunkt. Den serverlösa API-slutpunkten är ett sätt att använda modeller som ett API utan att vara värd för dem i din prenumeration, samtidigt som företagets säkerhets- och efterlevnadsorganisationer behöver det. Det här distributionsalternativet kräver inte kvot från din prenumeration.

I den här artikeln skapar du en slutpunkt med namnet meta-llama3-8b-qwerty.

1. Skapa den serverlösa slutpunkten

   AI Studio

   1. I föregående guide väljer du Distribuera (om du just prenumererar projektet på modellerbjudandet i föregående avsnitt) eller väljer Fortsätt att distribuera (om distributionsguiden hade anteckningen Du har redan en Azure Marketplace-prenumeration för det här projektet).

      

   2. Ge distributionen ett namn. Det här namnet blir en del av URL:en för distributions-API:et. Den här URL:en måste vara unik i varje Azure-region.

      

   3. Välj distribuera. Vänta tills distributionen är klar och du omdirigeras till sidan Distributioner.

   Azure CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Använd endpoint.yml-filen för att skapa slutpunkten:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Använd följande mall för att skapa en slutpunkt:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Skapa sedan distributionen:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Det kan ta några minuter att slutföra Azure-distributionsmallen. När det är klart visas ett meddelande som innehåller resultatet:

   "provisioningState": "Succeeded",
   

2. När som helst kan du se slutpunkterna som distribueras till projektet:

   AI Studio

   1. Gå till ditt projekt.

   2. Välj avsnittet Distributioner

   3. Serverlösa API-slutpunkter visas.

   Azure CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Du kan använda resurshanteringsverktygen för att köra frågor mot resurserna. Följande kod använder Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Den skapade slutpunkten använder nyckelautentisering för auktorisering. Använd följande steg för att hämta de nycklar som är associerade med en viss slutpunkt.

   AI Studio

   Du kan gå tillbaka till sidan Distributioner, välja distributionen och notera slutpunktens mål-URI och nyckel. Använd dem för att anropa distributionen och generera förutsägelser.

   Kommentar

   När du använder Azure-portalen visas inte serverlösa API-slutpunkter som standard i resursgruppen. Använd alternativet Visa dolda typer för att visa dem i resursgruppen.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Använd REST-API:er för att fråga efter den här informationen.

4. Nu är slutpunkten redo att användas.

5. Om du behöver använda den här distributionen från ett annat projekt eller en annan hubb, eller om du planerar att använda promptflöde för att skapa intelligenta program, måste du skapa en anslutning till den serverlösa API-distributionen. Information om hur du konfigurerar en befintlig serverlös API-slutpunkt för ett nytt projekt eller en ny hubb finns i Använda distribuerade serverlösa API-slutpunkter från ett annat projekt eller från promptflödet.

   Dricks

   Om du använder promptflöde i samma projekt eller hubb där distributionen distribuerades måste du fortfarande skapa anslutningen.

Använda den serverlösa API-slutpunkten

Modeller som distribueras i Azure Machine Learning och Azure AI Studio i serverlösa API-slutpunkter stöder Azure AI Model Inference API som exponerar en gemensam uppsättning funktioner för grundläggande modeller och som kan användas av utvecklare för att använda förutsägelser från en mängd olika modeller på ett enhetligt och konsekvent sätt.

Läs mer om funktionerna i det här API:et och hur du kan utnyttja det när du skapar program.

Ta bort slutpunkter och prenumerationer

Du kan ta bort modellprenumerationer och slutpunkter. Om du tar bort en modellprenumeration blir alla associerade slutpunkter inte felfria och oanvändbara.

AI Studio

Så här tar du bort en serverlös API-slutpunkt:

1. Gå till Azure AI Studio.

2. Gå till Distributioner av komponenter>.

3. Öppna den distribution som du vill ta bort.

4. Välj Ta bort.

Så här tar du bort den associerade modellprenumerationen:

1. Gå till Azure Portal

2. Gå till den resursgrupp där projektet tillhör.

3. I filtret Typ väljer du SaaS.

4. Välj den prenumeration du vill ta bort.

5. Välj Ta bort.

Azure CLI

Så här tar du bort en serverlös API-slutpunkt:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Så här tar du bort den associerade modellprenumerationen:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

Så här tar du bort en serverlös API-slutpunkt:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Så här tar du bort den associerade modellprenumerationen:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

Du kan använda resurshanteringsverktygen för att hantera resurserna. Följande kod använder Azure CLI:

az resource delete --name <resource-name>

Kostnads- och kvotöverväganden för modeller som distribueras som serverlösa API-slutpunkter

Modeller som distribueras som serverlösa API-slutpunkter erbjuds via Azure Marketplace och integreras med Azure AI Studio för användning. Du hittar prissättningen för Azure Marketplace när du distribuerar eller finjusterar modellerna.

Varje gång ett projekt prenumererar på ett visst erbjudande från Azure Marketplace skapas en ny resurs för att spåra de kostnader som är kopplade till förbrukningen. Samma resurs används för att spåra kostnader som är kopplade till slutsatsdragning och finjustering. Flera mätare är dock tillgängliga för att spåra varje scenario oberoende av varandra.

Mer information om hur du spårar kostnader finns i Övervaka kostnader för modeller som erbjuds via Azure Marketplace.

Kvoten hanteras per distribution. Varje distribution har en hastighetsgräns på 200 000 token per minut och 1 000 API-begäranden per minut. Vi begränsar dock för närvarande en distribution per modell per projekt. Kontakta Microsoft Azure Support om de aktuella hastighetsgränserna inte räcker för dina scenarier.

Behörigheter som krävs för att prenumerera på modellerbjudanden

Rollbaserade åtkomstkontroller i Azure (Azure RBAC) används för att bevilja åtkomst till åtgärder i Azure AI Studio. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas rollen Ägare, Deltagare eller Azure AI Developer för Azure-prenumerationen. Alternativt kan ditt konto tilldelas en anpassad roll som har följande behörigheter:

• I Azure-prenumerationen – för att prenumerera på arbetsytan till Azure Marketplace-erbjudandet, en gång för varje arbetsyta, per erbjudande:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• I resursgruppen – för att skapa och använda SaaS-resursen:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• På arbetsytan – för att distribuera slutpunkter (dataexpertrollen i Azure Machine Learning innehåller redan dessa behörigheter):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Mer information om behörigheter finns i Rollbaserad åtkomstkontroll i Azure AI Studio.

Gå vidare

• Finjustera en Meta Llama 2-modell i Azure AI Studio