Verwenden von serverlosen API-Endpunkten aus einem anderen Azure KI Studio-Projekt oder -Hub

Wichtig

Einige der in diesem Artikel beschriebenen Features sind möglicherweise nur in der Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

In diesem Artikel erfahren Sie, wie Sie einen vorhandenen serverlosen API-Endpunkt in einem anderen Projekt oder Hub konfigurieren als dem, mit dem die Bereitstellung erstellt wurde.

Bestimmte Modelle im Modellkatalog können als serverlose APIs bereitgestellt werden. Diese Art von Bereitstellung bietet eine Möglichkeit, Modelle als API zu nutzen, ohne sie in Ihrem Abonnement zu hosten, während die Unternehmenssicherheit und Compliance beibehalten werden, die Organisationen benötigen. Für diese Bereitstellungsoption ist kein Kontingent aus Ihrem Abonnement erforderlich.

In den folgenden Situationen könnte es notwendig sein, einen serverlosen API-Endpunkt in einem anderen Projekt oder Hub zu verwenden als dem, mit dem die Bereitstellung erstellt wurde:

• Sie möchten Ihre Bereitstellungen in einem bestimmten Projekt oder Hub zentralisieren und in verschiedenen Projekten oder Hubs in Ihrer Organisation verwenden.
• Sie müssen ein Modell in einem Hub in einer bestimmten Azure-Region bereitstellen, in der eine serverlose Bereitstellung für dieses Modell verfügbar ist. Sie müssen es jedoch in einer anderen Region nutzen, in der die serverlose Bereitstellung für die jeweiligen Modelle nicht verfügbar ist.

Voraussetzungen

• Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose Versionen oder Testversionen von Azure-Abonnements funktionieren nicht. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto.

• Ein Azure KI Studio-Hub.

• Ein Azure KI Studio-Projekt.

• Ein Modell, das auf einem serverlosen API-Endpunkt bereitgestellt wurde. In diesem Artikel wird davon ausgegangen, dass Sie bereits das Modell Meta-Llama-3-8B-Instruct bereitgestellt haben. Weitere Informationen zum Bereitstellen dieses Modells als serverlose API finden Sie unter Bereitstellen von Modellen als serverlose APIs.

• Für die Arbeit mit Azure KI Studio müssen Sie die folgende Software installieren:

  KI Studio

  Sie können einen beliebigen kompatiblen Webbrowser verwenden, um in Azure KI Studio zu navigieren.

  Azure-Befehlszeilenschnittstelle

  Die Azure CLI und die ml-Erweiterung für Azure Machine Learning.

  az extension add -n ml
  

  Wenn Sie die Erweiterung bereits installiert haben, stellen Sie sicher, dass die neueste Version installiert ist.

  az extension update -n ml
  

  Nachdem die Erweiterung installiert wurde, konfigurieren Sie sie:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Installieren Sie das Azure Machine Learning SDK für Python.

  pip install -U azure-ai-ml
  

  Importieren Sie nach der Installation die erforderlichen Namespaces:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Erstellen einer Verbindung mit dem serverlosen API-Endpunkt

Führen Sie folgende Schritte aus, um eine Verbindung zu erstellen:

1. Stellen Sie eine Verbindung mit dem Projekt oder Hub her, in dem der Endpunkt bereitgestellt wurde:

   KI Studio

   Wechseln Sie zu Azure KI Studio, und navigieren Sie zu dem Projekt, in dem der Endpunkt bereitgestellt wurde, mit dem Sie eine Verbindung herstellen möchten.

   Azure-Befehlszeilenschnittstelle

   Konfigurieren Sie die CLI so, dass sie auf das Projekt verweist:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Erstellen Sie einen Client, der mit Ihrem Projekt verbunden ist:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Rufen Sie die URL und die Anmeldeinformationen des Endpunkts ab, mit dem Sie eine Verbindung herstellen möchten. In diesem Beispiel rufen Sie die Details für einen Endpunkt mit dem Namen meta-llama3-8b-qwerty ab.

   KI Studio

   1. Wechseln Sie in der linken Seitenleiste Ihres Projekts in KI Studio zu Komponenten>Bereitstellungen, um die Liste der Bereitstellungen im Projekt anzuzeigen.

   2. Wählen Sie die Bereitstellung aus, mit der Sie eine Verbindung herstellen möchten.

   3. Kopieren Sie die Werte für Ziel-URI und Schlüssel.

   Azure-Befehlszeilenschnittstelle

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Stellen Sie nun eine Verbindung mit dem Projekt oder Hub her, in dem Sie die Verbindung erstellen möchten:

   KI Studio

   Wechseln Sie zu dem Projekt, mit dem die Verbindung erstellt werden muss.

   Azure-Befehlszeilenschnittstelle

   Konfigurieren Sie die CLI so, dass sie auf das Projekt verweist:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   Erstellen Sie einen Client, der mit Ihrem Projekt verbunden ist:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Erstellen Sie die Verbindung im Projekt:

   KI Studio

   1. Wählen Sie in der linken Seitenleiste des Projekts in KI Studio die Option Einstellungen aus.

   2. Wählen Sie im Abschnitt Verbundene Ressourcen die Option Neue Verbindung aus.

   3. Wählen Sie Serverloses Modell aus.

   4. Fügen Sie in Ziel-URI den Wert ein, den Sie zuvor kopiert haben.

   5. Fügen Sie in Schlüssel den Wert ein, den Sie zuvor kopiert haben.

   6. Benennen Sie die Verbindung – in diesem Fall mit meta-llama3-8b-connection.

   7. Wählen Sie Verbindung hinzufügen aus.

   Azure-Befehlszeilenschnittstelle

   Erstellen Sie eine Verbindungsdefinition:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Zu diesem Zeitpunkt steht die Verbindung für die Nutzung zur Verfügung.

6. So überprüfen Sie, ob die Verbindung funktioniert

   1. Wählen Sie in der linken Seitenleiste des Projekts in KI Studio die Optionen Extras>Prompt flow aus.

   2. Wählen Sie Erstellen aus, um einen neuen Flow zu erstellen.

   3. Wählen Sie im Feld Chatflow die Option Erstellen aus.

   4. Geben Sie Ihrem Prompt Flow einen Namen, und wählen Sie Erstellen aus.

   5. Wählen Sie im Graphen den Knoten Chat aus, um zum Abschnitt Chat zu wechseln.

   6. Öffnen Sie unter Verbindung die Dropdownliste, um die soeben erstellte Verbindung auszuwählen, in diesem Fall meta-llama3-8b-connection.

   7. Wählen Sie auf der oberen Navigationsleiste Computesitzung starten aus, um eine automatische Runtime für den Prompt Flow zu starten.

   8. Wählen Sie die Option Chat aus. Sie können jetzt Nachrichten senden und Antworten empfangen.

Zugehöriger Inhalt

• Was ist Azure KI Studio?
• Artikel über häufig gestellte Fragen zu Azure KI