Distribuera modeller som serverlösa API-slutpunkter

I den här artikeln får du lära dig hur du distribuerar en modell från modellkatalogen som ett serverlöst API med tokenbaserad betalning per användning.

Vissa modeller i modellkatalogen kan distribueras som ett serverlöst API med betala per användning-fakturering. Den här typen av distribution ger ett sätt att använda modeller som ett API utan att vara värd för dem i din prenumeration, samtidigt som den företagssäkerhet och efterlevnad som organisationer behöver bevaras. Det här distributionsalternativet kräver inte kvot från din prenumeration.

Förutsättningar

• En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.

• En Azure Mašinsko učenje-arbetsyta.

• Rollbaserade åtkomstkontroller i Azure (Azure RBAC) används för att bevilja åtkomst till åtgärder i Azure Machine Learning. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas rollen Azure AI Developer i resursgruppen. Mer information om behörigheter finns i Rollbaserad åtkomstkontroll i Azure Mašinsko učenje.

• Du måste installera följande programvara för att arbeta med Azure Mašinsko učenje:

  Studio

  Du kan använda valfri kompatibel webbläsare för att navigera i Azure Mašinsko učenje.

  Azure CLI

  Azure CLI och ML-tillägget för Azure Mašinsko učenje.

  az extension add -n ml
  

  Om du redan har tillägget installerat kontrollerar du att den senaste versionen är installerad.

  az extension update -n ml
  

  När tillägget har installerats konfigurerar du det:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Installera Azure Mašinsko učenje SDK för Python.

  pip install -U azure-ai-ml
  

  När du har installerat det importerar du nödvändiga namnområden och skapar en klient som är ansluten till din arbetsyta:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  ARM

  Du kan använda valfri kompatibel webbläsare för att distribuera ARM-mallar i Microsoft Azure-portalen eller med något av distributionsverktygen. I den här självstudien används Azure CLI.

Hitta modell- och modell-ID:t i modellkatalogen

1. Logga in på Azure Mašinsko učenje Studio

2. För modeller som erbjuds via Azure Marketplace kontrollerar du att ditt konto har rollbehörigheten Azure AI Developer för resursgruppen eller att du uppfyller de behörigheter som krävs för att prenumerera på modellerbjudanden.

   Modeller som erbjuds av icke-Microsoft-leverantörer (till exempel Llama- och Mistral-modeller) debiteras via Azure Marketplace. För sådana modeller måste du prenumerera på din arbetsyta till det specifika modellerbjudandet. Modeller som erbjuds av Microsoft (till exempel Phi-3-modeller) har inte det här kravet eftersom faktureringen görs på ett annat sätt. Mer information om fakturering för serverlös distribution av modeller i modellkatalogen finns i Fakturering för serverlösa API:er.

3. Gå till din arbetsyta. Om du vill använda det serverlösa API-modelldistributionserbjudandet måste din arbetsyta tillhöra en av de regioner som stöds för serverlös distribution för den specifika modell som du vill distribuera.

4. Välj Modellkatalog i det vänstra sidofältet och leta reda på modellkortet för den modell som du vill distribuera. I den här artikeln väljer du en Meta-Llama-3-8B-Instruct-modell .

   1. Om du distribuerar modellen med Hjälp av Azure CLI, Python SDK eller ARM kopierar du modell-ID:t.

   Viktigt!

   Inkludera inte versionen när du kopierar modell-ID :t. Serverlösa API-slutpunkter distribuerar alltid modellens senaste tillgängliga version. För modell-ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3:t kopierar du azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instructtill exempel .

   

Nästa avsnitt beskriver stegen för att prenumerera på din arbetsyta till ett modellerbjudande. Du kan hoppa över det här avsnittet och gå till Distribuera modellen till en serverlös API-slutpunkt om du distribuerar en Microsoft-modell.

Prenumerera på din arbetsyta till modellerbjudandet

För icke-Microsoft-modeller som erbjuds via Azure Marketplace kan du distribuera dem till serverlösa API-slutpunkter för att använda deras förutsägelser. Om det är första gången du distribuerar modellen på arbetsytan måste du prenumerera på din arbetsyta för det specifika modellerbjudandet från Azure Marketplace. Varje arbetsyta har en egen prenumeration på det specifika Azure Marketplace-erbjudandet för modellen, vilket gör att du kan styra och övervaka utgifter.

Kommentar

Modeller som erbjuds via Azure Marketplace är tillgängliga för distribution till serverlösa API-slutpunkter i specifika regioner. Kontrollera regiontillgängligheten för modeller i serverlösa API-slutpunkter för att kontrollera vilka modeller och regioner som är tillgängliga. Om den du behöver inte visas kan du distribuera till en arbetsyta i en region som stöds och sedan använda serverlösa API-slutpunkter från en annan arbetsyta.

1. Skapa modellens Marketplace-prenumeration. När du skapar en prenumeration godkänner du de villkor som är associerade med modellerbjudandet.

   Studio

   1. På modellens informationssida väljer du Distribuera och sedan Serverlöst API med Azure AI Content Safety (förhandsversion) för att öppna distributionsguiden.

   2. Markera kryssrutan för att bekräfta Microsofts inköpsprincip.

      

   3. Om du ser anteckningen Du har redan en Azure Marketplace-prenumeration för den här arbetsytan behöver du inte skapa prenumerationen eftersom du redan har en. Du kan fortsätta att distribuera modellen till en serverlös API-slutpunkt.

   4. I distributionsguiden väljer du länken till Azure Marketplace-villkor för att lära dig mer om användningsvillkoren. Du kan också välja fliken Priser och villkor för att lära dig mer om priser för den valda modellen.

   5. I distributionsguiden väljer du länken till Azure Marketplace-villkor för att lära dig mer om användningsvillkoren. Du kan också välja fliken Information om Marketplace-erbjudande för att lära dig mer om priser för den valda modellen.

   6. Välj Prenumerera och Distribuera.

   Azure CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Använd subscription.yml-filen för att skapa prenumerationen:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Använd följande mall för att skapa en modellprenumeration:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

2. När du prenumererar på arbetsytan för det specifika Azure Marketplace-erbjudandet behöver efterföljande distributioner av samma erbjudande på samma arbetsyta inte prenumerera igen.

3. När som helst kan du se de modellerbjudanden som din arbetsyta för närvarande prenumererar på:

   Studio

   1. Gå till Azure Portal

   2. Gå till den resursgrupp där arbetsytan tillhör.

   3. I filtret Typ väljer du SaaS.

   4. Du ser alla erbjudanden som du prenumererar på.

   5. Välj valfri resurs för att se informationen.

   Azure CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   Du kan använda resurshanteringsverktygen för att köra frågor mot resurserna. Följande kod använder Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Distribuera modellen till en serverlös API-slutpunkt

När du har skapat en prenumeration för en icke-Microsoft-modell kan du distribuera den associerade modellen till en serverlös API-slutpunkt. För Microsoft-modeller (till exempel Phi-3-modeller) behöver du inte skapa en prenumeration.

Den serverlösa API-slutpunkten är ett sätt att använda modeller som ett API utan att vara värd för dem i din prenumeration, samtidigt som företagets säkerhets- och efterlevnadsorganisationer behöver det. Det här distributionsalternativet kräver inte kvot från din prenumeration.

I det här avsnittet skapar du en slutpunkt med namnet meta-llama3-8b-qwerty.

1. Skapa den serverlösa slutpunkten

   Studio

   1. Om du vill distribuera en Microsoft-modell som inte kräver prenumeration på ett modellerbjudande väljer du Distribuera och väljer sedan Serverlöst API med Azure AI Content Safety (förhandsversion) för att öppna distributionsguiden.

   2. Om du precis har prenumererat på din arbetsyta till modellerbjudandet i föregående avsnitt kan du också fortsätta att välja Distribuera för en modellmodell som kräver en modellprenumeration. Du kan också välja Fortsätt att distribuera (om distributionsguiden hade anteckningen Du har redan en Azure Marketplace-prenumeration för den här arbetsytan).

      

   3. Ge distributionen ett namn. Det här namnet blir en del av URL:en för distributions-API:et. Den här URL:en måste vara unik i varje Azure-region.

      

   4. Välj distribuera. Vänta tills distributionen är klar och du omdirigeras till sidan Distributioner.

   Azure CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Använd endpoint.yml-filen för att skapa slutpunkten:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Använd följande mall för att skapa en slutpunkt:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Skapa sedan distributionen:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Det kan ta några minuter att slutföra Azure-distributionsmallen. När det är klart visas ett meddelande som innehåller resultatet:

   "provisioningState": "Succeeded",
   

2. När som helst kan du se slutpunkterna som distribueras till din arbetsyta:

   Studio

   1. Gå till din arbetsyta.

   2. Välj slutpunkter.

   3. Välj fliken Serverlösa slutpunkter för att visa serverlösa API-slutpunkter.

   Azure CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Du kan använda resurshanteringsverktygen för att köra frågor mot resurserna. Följande kod använder Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Den skapade slutpunkten använder nyckelautentisering för auktorisering. Använd följande steg för att hämta de nycklar som är associerade med en viss slutpunkt.

   Studio

   1. Om du vill återgå till distributionens sida väljer du slutpunktens namn i listan över serverlösa slutpunkter.
   2. Observera slutpunktens mål-URI och nyckel. Använd dem för att anropa distributionen och generera förutsägelser.

   Kommentar

   När du använder Azure-portalen visas inte serverlösa API-slutpunkter som standard i resursgruppen. Använd alternativet Visa dolda typer för att visa dem i resursgruppen.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Använd REST-API:er för att fråga efter den här informationen.

4. Nu är slutpunkten redo att användas.

5. Om du behöver använda den här distributionen från en annan arbetsyta, eller om du planerar att använda promptflöde för att skapa intelligenta program, måste du skapa en anslutning till den serverlösa API-distributionen. Information om hur du konfigurerar en befintlig serverlös API-slutpunkt på en ny arbetsyta eller hubb finns i Använda distribuerade serverlösa API-slutpunkter från en annan arbetsyta eller från Prompt-flödet.

   Dricks

   Om du använder promptflöde på samma arbetsyta där distributionen distribuerades måste du fortfarande skapa anslutningen.

Använda den serverlösa API-slutpunkten

Modeller som distribueras i Azure Mašinsko učenje och Azure AI Studio i serverlösa API-slutpunkter stöder Azure AI Model Inference API som exponerar en gemensam uppsättning funktioner för grundläggande modeller och som kan användas av utvecklare för att använda förutsägelser från en mängd olika modeller på ett enhetligt och konsekvent sätt.

Läs mer om funktionerna i det här API:et och hur du kan använda det när du skapar program.

Ta bort slutpunkter och prenumerationer

Du kan ta bort modellprenumerationer och slutpunkter. Om du tar bort en modellprenumeration blir alla associerade slutpunkter inte felfria och oanvändbara.

Studio

Så här tar du bort en serverlös API-slutpunkt:

1. Gå till Azure Mašinsko učenje Studio.

2. Välj Slutpunkter i det vänstra sidofältet.

3. Välj fliken Serverlösa slutpunkter för att visa serverlösa API-slutpunkter.

4. Öppna slutpunkten som du vill ta bort.

5. Välj Ta bort.

Så här tar du bort den associerade modellprenumerationen:

1. Gå till Azure Portal

2. Gå till den resursgrupp där arbetsytan tillhör.

3. I filtret Typ väljer du SaaS.

4. Välj den prenumeration du vill ta bort.

5. Välj Ta bort.

Azure CLI

Så här tar du bort en serverlös API-slutpunkt:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Så här tar du bort den associerade modellprenumerationen:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

Så här tar du bort en serverlös API-slutpunkt:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Så här tar du bort den associerade modellprenumerationen:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

Du kan använda resurshanteringsverktygen för att hantera resurserna. Följande kod använder Azure CLI:

az resource delete --name <resource-name>

Kostnads- och kvotöverväganden för modeller som distribueras som serverlösa API-slutpunkter

Kvot hanteras per distribution. Varje distribution har en hastighetsgräns på 200 000 token per minut och 1 000 API-begäranden per minut. För närvarande begränsar vi dock en distribution per modell per arbetsyta. Kontakta Microsoft Azure Support om de aktuella hastighetsgränserna inte räcker för dina scenarier.

Kostnad för Microsoft-modeller

Du hittar prisinformationen på fliken Priser och villkor i distributionsguiden när du distribuerar Microsoft-modeller (till exempel Phi-3-modeller) som serverlösa API-slutpunkter.

Kostnad för modeller som inte kommer från Microsoft

Icke-Microsoft-modeller som distribueras som serverlösa API-slutpunkter erbjuds via Azure Marketplace och integreras med Azure AI Studio för användning. Du hittar prissättningen för Azure Marketplace när du distribuerar eller finjusterar dessa modeller.

Varje gång en arbetsyta prenumererar på ett visst erbjudande från Azure Marketplace skapas en ny resurs för att spåra de kostnader som är kopplade till förbrukningen. Samma resurs används för att spåra kostnader som är kopplade till slutsatsdragning och finjustering. Flera mätare är dock tillgängliga för att spåra varje scenario oberoende av varandra.

Mer information om hur du spårar kostnader finns i Övervaka kostnader för modeller som erbjuds via Azure Marketplace.

Behörigheter som krävs för att prenumerera på modellerbjudanden

Rollbaserade åtkomstkontroller i Azure (Azure RBAC) används för att bevilja åtkomst till åtgärder i Azure Machine Learning. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas rollen Ägare, Deltagare eller Azure AI Developer för Azure-prenumerationen. Alternativt kan ditt konto tilldelas en anpassad roll som har följande behörigheter:

• I Azure-prenumerationen – för att prenumerera på arbetsytan till Azure Marketplace-erbjudandet, en gång för varje arbetsyta, per erbjudande:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• I resursgruppen – för att skapa och använda SaaS-resursen:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• På arbetsytan – för att distribuera slutpunkter (dataexpertrollen i Azure Machine Learning innehåller redan dessa behörigheter):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Mer information om behörigheter finns i Hantera åtkomst till en Azure Machine Learning-arbetsyta.

Relaterat innehåll

• Modellkatalog och samlingar
• Använda distribuerade serverlösa API-slutpunkter från en annan arbetsyta