Verwenden von serverlosen API-Endpunkten aus einem anderen Azure KI Studio-Projekt oder -Hub
In diesem Artikel erfahren Sie, wie Sie einen vorhandenen serverlosen API-Endpunkt in einem anderen Projekt oder Hub konfigurieren als dem, mit dem die Bereitstellung erstellt wurde.
Wichtig
Modelle, die sich in der Vorschau befinden, werden auf ihren Modellkarten im Modellkatalog als Vorschau gekennzeichnet.
Bestimmte Modelle im Modellkatalog können als serverlose APIs bereitgestellt werden. Diese Art von Bereitstellung bietet eine Möglichkeit, Modelle als API zu nutzen, ohne sie in Ihrem Abonnement zu hosten, während die Unternehmenssicherheit und Compliance beibehalten werden, die Organisationen benötigen. Für diese Bereitstellungsoption ist kein Kontingent aus Ihrem Abonnement erforderlich.
In den folgenden Situationen könnte es notwendig sein, einen serverlosen API-Endpunkt in einem anderen Projekt oder Hub zu verwenden als dem, mit dem die Bereitstellung erstellt wurde:
- Sie möchten Ihre Bereitstellungen in einem bestimmten Projekt oder Hub zentralisieren und in verschiedenen Projekten oder Hubs in Ihrer Organisation verwenden.
- Sie müssen ein Modell in einem Hub in einer bestimmten Azure-Region bereitstellen, in der eine serverlose Bereitstellung für dieses Modell verfügbar ist. Sie müssen es jedoch in einer anderen Region nutzen, in der die serverlose Bereitstellung für die jeweiligen Modelle nicht verfügbar ist.
Voraussetzungen
Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose Versionen oder Testversionen von Azure-Abonnements funktionieren nicht. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto.
Ein Azure KI Studio-Hub.
Ein Modell, das auf einem serverlosen API-Endpunkt bereitgestellt wurde. In diesem Artikel wird davon ausgegangen, dass Sie bereits das Modell Meta-Llama-3-8B-Instruct bereitgestellt haben. Weitere Informationen zum Bereitstellen dieses Modells als serverlose API finden Sie unter Bereitstellen von Modellen als serverlose APIs.
Für die Arbeit mit Azure KI Studio müssen Sie die folgende Software installieren:
Sie können einen beliebigen kompatiblen Webbrowser verwenden, um in Azure KI Studio zu navigieren.
Erstellen einer Verbindung mit dem serverlosen API-Endpunkt
Führen Sie folgende Schritte aus, um eine Verbindung zu erstellen:
Stellen Sie eine Verbindung mit dem Projekt oder Hub her, in dem der Endpunkt bereitgestellt wurde:
Wechseln Sie zu Azure KI Studio, und navigieren Sie zu dem Projekt, in dem der Endpunkt bereitgestellt wurde, mit dem Sie eine Verbindung herstellen möchten.
Rufen Sie die URL und die Anmeldeinformationen des Endpunkts ab, mit dem Sie eine Verbindung herstellen möchten. In diesem Beispiel rufen Sie die Details für einen Endpunkt mit dem Namen meta-llama3-8b-qwerty ab.
Wechseln Sie in der linken Seitenleiste Ihres Projekts in KI Studio zu Komponenten>Bereitstellungen, um die Liste der Bereitstellungen im Projekt anzuzeigen.
Wählen Sie die Bereitstellung aus, mit der Sie eine Verbindung herstellen möchten.
Kopieren Sie die Werte für Ziel-URI und Schlüssel.
Stellen Sie nun eine Verbindung mit dem Projekt oder Hub her, in dem Sie die Verbindung erstellen möchten:
Wechseln Sie zu dem Projekt, mit dem die Verbindung erstellt werden muss.
Erstellen Sie die Verbindung im Projekt:
Wählen Sie in der linken Seitenleiste des Projekts in KI Studio die Option Einstellungen aus.
Wählen Sie im Abschnitt Verbundene Ressourcen die Option Neue Verbindung aus.
Wählen Sie Serverloses Modell aus.
Fügen Sie in Ziel-URI den Wert ein, den Sie zuvor kopiert haben.
Fügen Sie in Schlüssel den Wert ein, den Sie zuvor kopiert haben.
Benennen Sie die Verbindung – in diesem Fall mit meta-llama3-8b-connection.
Wählen Sie Verbindung hinzufügen aus.
Zu diesem Zeitpunkt steht die Verbindung für die Nutzung zur Verfügung.
So überprüfen Sie, ob die Verbindung funktioniert
Wählen Sie in der linken Seitenleiste des Projekts in KI Studio die Optionen Extras>Prompt flow aus.
Wählen Sie Erstellen aus, um einen neuen Flow zu erstellen.
Wählen Sie im Feld Chatflow die Option Erstellen aus.
Geben Sie Ihrem Prompt Flow einen Namen, und wählen Sie Erstellen aus.
Wählen Sie im Graphen den Knoten Chat aus, um zum Abschnitt Chat zu wechseln.
Öffnen Sie unter Verbindung die Dropdownliste, um die soeben erstellte Verbindung auszuwählen, in diesem Fall meta-llama3-8b-connection.
Wählen Sie auf der oberen Navigationsleiste Computesitzung starten aus, um eine automatische Runtime für den Prompt Flow zu starten.
Wählen Sie die Option Chat aus. Sie können jetzt Nachrichten senden und Antworten empfangen.