Bereitstellen von Modellen als serverlose API-Endpunkte

In diesem Artikel erfahren Sie, wie Sie ein Modell aus dem Modellkatalog als serverlose API mit nutzungsbasierter Bezahlung auf tokenbasierter Abrechnung bereitstellen.

Bestimmte Modelle im Modellkatalog können als serverlose API mit nutzungsbasierter Bezahlung bereitgestellt werden. Diese Art von Bereitstellung bietet eine Möglichkeit, Modelle als API zu nutzen, ohne sie in Ihrem Abonnement zu hosten, während die Unternehmenssicherheit und Compliance beibehalten werden, die Organisationen benötigen. Für diese Bereitstellungsoption ist kein Kontingent aus Ihrem Abonnement erforderlich.

Voraussetzungen

• Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose Versionen oder Testversionen von Azure-Abonnements funktionieren nicht. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto.

• Ein Azure Machine Learning-Arbeitsbereich.

• Die rollenbasierte Zugriffssteuerung in Azure (Azure RBAC) wird verwendet, um Zugriff auf Vorgänge in Azure Machine Learning zu gewähren. Um die Schritte in diesem Artikel auszuführen, muss Ihrem Benutzerkonto die Azure KI-Entwicklerrolle in der Ressourcengruppe zugewiesen sein. Weitere Informationen zu Berechtigungen finden Sie unter Rollenbasierte Zugriffssteuerung in Azure Machine Learning.

• Für die Arbeit mit Azure Machine Learning müssen Sie die folgende Software installieren:

  Studio

  Sie können einen beliebigen kompatiblen Webbrowser verwenden, um in Azure Machine Learning zu navigieren.

  Azure-Befehlszeilenschnittstelle

  Die Azure CLI und die ml-Erweiterung für Azure Machine Learning.

  az extension add -n ml
  

  Wenn Sie die Erweiterung bereits installiert haben, stellen Sie sicher, dass die neueste Version installiert ist.

  az extension update -n ml
  

  Nachdem die Erweiterung installiert wurde, konfigurieren Sie sie:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Installieren Sie das Azure Machine Learning SDK für Python.

  pip install -U azure-ai-ml
  

  Importieren Sie nach der Installation die erforderlichen Namespaces, und erstellen Sie einen Client, der mit Ihrem Arbeitsbereich verbunden ist:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  ARM

  Sie können einen beliebigen kompatiblen Webbrowser verwenden, um ARM-Vorlagen im Microsoft Azure-Portal bereitzustellen oder eines der Bereitstellungstools zu verwenden. In diesem Lernprogramm wird die Azure CLIverwendet.

Abonnieren Ihres Arbeitsbereichs zum Modellangebot

Für Modelle, die über den Azure Marketplace angeboten werden, können Sie sie für serverlose API-Endpunkte bereitstellen, um ihre Vorhersagen zu nutzen. Wenn Sie das Modell zum ersten Mal im Arbeitsbereich bereitstellen, müssen Sie Ihren Arbeitsbereich für das jeweilige Modellangebot aus dem Azure Marketplace abonnieren. Jeder Arbeitsbereich hat sein eigenes Abonnement für das jeweilige Azure Marketplace-Angebot des Modells, mit dem Sie die Ausgaben kontrollieren und überwachen können.

Hinweis

Modelle, die über den Azure Marketplace angeboten werden, stehen für die Bereitstellung für serverlose API-Endpunkte in bestimmten Regionen zur Verfügung. Überprüfen Sie die Verfügbarkeit von Regionen für Modelle in Serverlosen API-Endpunkten, um zu überprüfen, welche Regionen verfügbar sind. Wenn sie nicht aufgeführt ist, können Sie in einem Arbeitsbereich in einer unterstützten Region bereitstellen und dann serverlose API-Endpunkte aus einem anderen Arbeitsbereich nutzen.

1. Melden Sie sich bei Azure Machine Learning Studio an.

2. Stellen Sie sicher, dass Ihr Konto über die Rollenberechtigungen für Azure KI-Entwickler für die Ressourcengruppe verfügt oder dass Sie die erforderlichen Berechtigungen zum Abonnieren von Modellangeboten erfüllen.

3. Wechseln Sie zu Ihrem Arbeitsbereich.

4. Wählen Sie den Modellkatalog auf der linken Randleiste aus, und suchen Sie die Modellkarte des Modells, das Sie bereitstellen möchten. In diesem Artikel wählen Sie ein Meta-Llama-3-8B-Instruct-Modell aus.

   1. Wenn Sie das Modell mit Azure CLI, Python SDK oder ARM bereitstellen, kopieren Sie die Modell-ID.

   Wichtig

   Schließen Sie die Version beim Kopieren der Modell-ID nicht ein. Serverlose API-Endpunkte stellen immer die neueste verfügbare Version des Modells bereit. Kopieren Sie z. B. für die Modell-ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

5. Erstellen Sie das Marketplace-Abonnement des Modells. Wenn Sie ein Abonnement erstellen, akzeptieren Sie die Bedingungen, die dem Modellangebot zugeordnet sind.

   Studio

   1. Wählen Sie auf der Seite Details des Modells Bereitstellen und dann Serverlose API aus, um den Bereitstellungs-Assistenten zu öffnen.

   2. Aktivieren Sie das Kontrollkästchen, um die Microsoft-Einkaufsrichtlinie zu bestätigen.

      

   3. Wenn die Notiz angezeigt wird Sie verfügen bereits über ein Azure Marketplace-Abonnement für diesen Arbeitsbereich, müssen Sie das Abonnement nicht erstellen, da Sie bereits über ein Abonnement verfügen. Sie können mit der Bereitstellung des Modells auf einem serverlosen API-Endpunkt fortfahren.

   4. Wählen Sie im Bereitstellungsassistenten den Link zu Azure Marketplace-Nutzungsbedingungen aus, um mehr über die Nutzungsbedingungen zu erfahren. Sie können auch die Registerkarte Preise und Begriffe auswählen, um mehr über die Preise für das ausgewählte Modell zu erfahren.

   5. Wählen Sie im Bereitstellungs-Assistenten den Link zu Azure Marketplace-Nutzungsbedingungen aus, um mehr über die Nutzungsbedingungen zu erfahren. Sie können auch die Registerkarte Marketplace – Angebotsdetails auswählen, um mehr über die Preise für das ausgewählte Modell zu erfahren.

   6. Wählen Sie Abonnieren und bereitstellen aus.

   Azure-Befehlszeilenschnittstelle

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Verwenden Sie die Datei subscription.yml, um das Abonnement zu erstellen:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Verwenden Sie die folgende Vorlage, um ein Modellabonnement zu erstellen:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

6. Sobald Sie den Arbeitsbereich für das jeweilige Azure Marketplace-Angebot registriert haben, müssen nachfolgende Bereitstellungen des gleichen Angebots im gleichen Arbeitsbereich nicht mehr abonniert werden.

7. An jedem Punkt können Sie das Modell sehen, für das Ihr Arbeitsbereich derzeit abonniert ist:

   Studio

   1. Navigieren Sie zum Azure-Portal.

   2. Navigieren Sie zu der Ressourcengruppe, zu der der Arbeitsbereich gehört.

   3. Wählen Sie im Typfilter SaaSaus.

   4. Sie sehen alle Angebote, für die Sie derzeit Abonnnements haben.

   5. Wählen Sie eine beliebige Ressource aus, um die Details anzuzeigen.

   Azure-Befehlszeilenschnittstelle

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   Sie können die Ressourcenverwaltungstools verwenden, um die Ressourcen abzufragen. Der folgende Code verwendet Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Bereitstellen des Modells auf einem serverlosen API-Endpunkt

Nachdem Sie das Abonnement eines Modells erstellt haben, können Sie das zugeordnete Modell auf einem serverlosen API-Endpunkt bereitstellen. Der serverlose API-Endpunkt bietet eine Möglichkeit, Modelle als API zu nutzen, ohne sie in Ihrem Abonnement zu hosten, während die Unternehmenssicherheits- und Complianceorganisationen benötigt werden. Für diese Bereitstellungsoption ist kein Kontingent aus Ihrem Abonnement erforderlich.

In diesem Artikel erstellen Sie einen Endpunkt mit dem Namen meta-llama3-8b-qwerty.

1. Erstellen des serverlosen Endpunkts

   Studio

   1. Wählen Sie im vorherigen Assistenten Bereitstellen aus (wenn Sie gerade den Arbeitsbereich für das Modellangebot im vorherigen Abschnitt abonniert haben), oder wählen Sie Bereitstellen fortsetzen aus (wenn Ihr Bereitstellungs-Assistent die Notiz hatte: Sie verfügen bereits über ein Azure Marketplace-Abonnement für diesen Arbeitsbereich).

      

   2. Geben Sie der Bereitstellung einen Namen. Dieser Name wird Teil der Bereitstellungs-API-URL. Diese URL muss in jeder Azure-Region eindeutig sein.

      

   3. Klicken Sie auf Bereitstellen. Warten Sie, bis die Bereitstellung fertig ist und Sie auf die Seite Bereitstellungen weitergeleitet werden.

   Azure-Befehlszeilenschnittstelle

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Verwenden Sie die endpoint.yml-Datei, um den Endpunkt zu erstellen:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Verwenden Sie die folgende Vorlage, um einen Endpunkt zu erstellen:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Erstellen Sie dann die Bereitstellung:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Das Abschließen der Azure-Bereitstellungsvorlage kann einige Minuten dauern. Wenn sie abgeschlossen ist, wird eine Nachricht mit dem Ergebnis angezeigt:

   "provisioningState": "Succeeded",
   

2. An jedem Punkt können Sie die Endpunkte sehen, die in Ihrem Arbeitsbereich bereitgestellt werden:

   Studio

   1. Wechseln Sie zu Ihrem Arbeitsbereich.

   2. Wählen Sie Endpunkte.

   3. Wählen Sie die Registerkarte Serverlose Endpunkte aus, um die serverlosen API-Endpunkte anzuzeigen.

   Azure-Befehlszeilenschnittstelle

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Sie können die Ressourcenverwaltungstools verwenden, um die Ressourcen abzufragen. Der folgende Code verwendet Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Der erstellte Endpunkt verwendet die Schlüsselauthentifizierung für die Autorisierung. Führen Sie die folgenden Schritte aus, um die Schlüssel abzurufen, die einem bestimmten Endpunkt zugeordnet sind.

   Studio

   1. Um zur Seite der Bereitstellung zurückzukehren, wählen Sie den Namen des Endpunkts aus der Liste der serverlosen Endpunkte aus.
   2. Beachten Sie den Ziel-URI und den Schlüssel des Endpunkts. Verwenden Sie sie, um die Bereitstellung aufzurufen und Vorhersagen zu generieren.

   Hinweis

   Wenn Sie das Azure-Portal verwenden, werden serverlose API-Endpunkte in der Ressourcengruppe nicht standardmäßig angezeigt. Verwenden Sie die Option Ausgeblendete Typen anzeigen, um sie in der Ressourcengruppe anzuzeigen.

   Azure-Befehlszeilenschnittstelle

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Verwenden Sie REST-APIs, um diese Informationen abzufragen.

4. An diesem Punkt kann Ihr Endpunkt verwendet werden.

5. Wenn Sie diese Bereitstellung aus einem anderen Arbeitsbereich nutzen müssen oder Prompt flow zum Erstellen intelligenter Anwendungen verwenden möchten, müssen Sie eine Verbindung mit der serverlosen API-Bereitstellung erstellen. Informationen zum Konfigurieren eines vorhandenen serverlosen API-Endpunkts in einem neuen Projekt oder Hub finden Sie unter Verwenden bereitgestellter serverloser API-Endpunkte aus einem anderen Arbeitsbereich oder aus Prompt flow.

   Tipp

   Wenn Sie Prompt flow im selben Arbeitsbereich verwenden, in dem die Bereitstellung bereitgestellt wurde, müssen Sie die Verbindung trotzdem erstellen.

Verwenden des serverlosen API-Endpunkts

Modelle, die in Azure Machine Learning und Azure KI Studio in serverlosen API-Endpunkten bereitgestellt werden, unterstützen die Azure AI Model Inference API, die einen gemeinsamen Satz von Funktionen für grundlegende Modelle bereitstellt und von Entwicklern verwendet werden kann, um Vorhersagen aus einem vielfältigen Satz von Modellen einheitlich und auf konsequente Art und Weise zu nutzen.

Erfahren Sie mehr über die Funktionen dieser API und wie Sie sie beim Erstellen von Anwendungen nutzen können.

Löschen von Endpunkten und Abonnements

Sie können Modellabonnements und Endpunkte löschen. Wenn Sie ein Modellabonnement löschen, werden alle zugehörigen Endpunkte zu Fehlerhaft und "unbrauchbar".

Studio

So löschen Sie einen serverlosen API-Endpunkt:

1. Navigieren Sie zu Azure Machine Learning Studio.

2. Wählen Sie Endpunkte aus der linken Randleiste aus.

3. Wählen Sie die Registerkarte Serverlose Endpunkte aus, um die serverlosen API-Endpunkte anzuzeigen.

4. Wählen Sie den zu löschenden Endpunkt aus.

5. Klicken Sie auf Löschen.

So löschen Sie das zugeordnete Modellabonnement:

1. Navigieren Sie zum Azure-Portal.

2. Navigieren Sie zu der Ressourcengruppe, zu der der Arbeitsbereich gehört.

3. Wählen Sie im Typfilter SaaSaus.

4. Wählen Sie das Abonnement aus, das Sie löschen möchten.

5. Klicken Sie auf Löschen.

Azure-Befehlszeilenschnittstelle

So löschen Sie einen serverlosen API-Endpunkt:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

So löschen Sie das zugeordnete Modellabonnement:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

So löschen Sie einen serverlosen API-Endpunkt:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

So löschen Sie das zugeordnete Modellabonnement:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

Sie können die Ressourcenverwaltungstools verwenden, um die Ressourcen zu verwalten. Der folgende Code verwendet Azure CLI:

az resource delete --name <resource-name>

Überlegungen zu Kosten und Kontingenten für Modelle, die als serverlose API-Endpunkte bereitgestellt werden

Modelle, die als serverlose API-Endpunkt bereitgestellt werden, werden über den Azure Marketplace angeboten und in Azure Machine Learning zur Verwendung integriert. Die Azure Marketplace-Preise werden bei der Bereitstellung oder bei der Optimierung der Modelle angezeigt.

Jedes Mal, wenn ein Arbeitsbereich ein bestimmtes Angebot aus dem Azure Marketplace abonniert, wird eine neue Ressource erstellt, um die mit der Nutzung verbundenen Kosten nachzuverfolgen. Die gleiche Ressource wird zum Nachverfolgen der Kosten im Zusammenhang mit Rückschluss und Optimierung verwendet. Es stehen jedoch mehrere Verbrauchseinheiten zur Verfügung, um die einzelnen Szenarien unabhängig voneinander nachzuverfolgen.

Weitere Informationen zum Nachverfolgen von Kosten finden Sie unter Überwachen der Kosten für Modelle, die über den Azure Marketplace angeboten werden.

Das Kontingent wird pro Bereitstellung verwaltet. Jede Bereitstellung hat eine Rate von 200.000 Token pro Minute und 1.000 API-Anforderungen pro Minute. Derzeit wird jedoch eine Bereitstellung pro Modell und Arbeitsbereich beschränkt. Wenden Sie sich an den Microsoft Azure-Support, wenn die aktuellen Ratenbegrenzungen für Ihre Szenarien nicht ausreichen.

Zum Abonnieren von Modellangeboten erforderliche Berechtigungen

Die rollenbasierte Zugriffssteuerung in Azure (Azure RBAC) wird verwendet, um Zugriff auf Vorgänge in Azure Machine Learning zu gewähren. Um die Schritte in diesem Artikel auszuführen, muss Ihrem Benutzerkonto die Rolle Besitzer, Mitwirkender oderAzure KI Entwickler für das Azure-Abonnement zugewiesen werden. Alternativ kann Ihrem Konto eine benutzerdefinierte Rolle zugewiesen werden, die über die folgenden Berechtigungen verfügt:

• Für das Azure-Abonnement: Zum Abonnieren des Arbeitsbereichs für das Azure Marketplace-Angebot, einmal für jeden Arbeitsbereich pro Angebot:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Für die Ressourcengruppe: Zum Erstellen und Verwenden der SaaS-Ressource:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• Für den Arbeitsbereich: Zum Bereitstellen von Endpunkten (die Azure Machine Learning-Rolle „Wissenschaftliche Fachkraft für Daten“ enthält diese Berechtigungen bereits):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Weitere Informationen zu Berechtigungen finden Sie unter Verwalten des Zugriffs auf einen Azure Machine Learning-Arbeitsbereich.

Zugehöriger Inhalt

• Modellkatalog und Sammlungen
• Nutzen von bereitgestellten serverlosen API-Endpunkten aus einem anderen Arbeitsbereich