Bereitstellen eines Flusses für Echtzeitinferenz

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Nachdem Sie einen Prompt flow erstellt und ordnungsgemäß getestet haben, sollten Sie ihn als Onlineendpunkt bereitstellen. Bereitstellungen werden innerhalb eines Endpunkts gehostet und können Daten von Clients empfangen und Antworten in Echtzeit zurücksenden.

Sie können den Endpunkt für die Echtzeit-Ableitung für Chat, einen Copilot oder eine andere generative KI-Anwendung aufrufen. Der Prompt Flow unterstützt die Endpunktbereitstellung aus einem Flow oder einer Massentestausführung.

In diesem Artikel erfahren Sie, wie Sie einen Flow als verwalteten Onlineendpunkt für Rückschlüsse in Echtzeit bereitstellen. Die Schritte, die Sie unternehmen:

• Testen Sie Ihren Flow und bereiten Sie ihn für die Bereitstellung vor.
• Erstellen Sie eine Online-Bereitstellung.
• Weisen Sie Berechtigungen für den Endpunkt zu.
• Teste den Endpunkt.
• Verwenden Sie den Endpunkt.

Voraussetzungen

Hinweis

Sie müssen ein hubbasiertes Projekt für dieses Feature verwenden. Ein Foundry-Projekt wird nicht unterstützt. Weitere Informationen finden Sie unter Projekttypen.

• Ein Azure-Abonnement. Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen.
• Wenn Sie kein Projekt haben, erstellen Sie ein Hub-basiertes Projekt.

Um einen Prompt flow als Onlineendpunkt bereitzustellen, benötigen Sie Folgendes:

• Ein Azure-Abonnement. Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.
• Ein Azure KI Foundry-Projekt
• Ein im ausgewählten Abonnement registrierter Microsoft.PolicyInsights-Ressourcenanbieter. Weitere Informationen zum Registrieren eines Ressourcenanbieters finden Sie unter Registrieren eines Ressourcenanbieters.

Online-Bereitstellung erstellen

Nachdem Sie einen Fluss erstellt und ordnungsgemäß getestet haben, ist es an der Zeit, Ihren Onlineendpunkt für die Echtzeit-Ableitung zu erstellen.

So stellen Sie einen Eingabeaufforderungsfluss als Onlineendpunkt im Azure AI Foundry-Portal bereit:

1. Halten Sie einen Prompt-Flow bereit für die Bereitstellung. Wenn Sie keinen haben, lesen Sie den Artikel zum Entwickeln eines Prompt Flow.

2. Optional: Wählen Sie Chat aus, um zu testen, ob der Flow ordnungsgemäß funktioniert. Es wird empfohlen, den Ablauf vor der Bereitstellung zu testen.

3. Wählen Sie Bereitstellen im Flow-Editor aus.

   

4. Geben Sie die angeforderten Informationen auf der Seite Standardeinstellungen im Bereitstellungs-Assistenten an.

   

5. Wählen Sie Überprüfen + Erstellen aus, um die Einstellungen zu überprüfen und die Bereitstellung zu erstellen. Wählen Sie andernfalls "Weiter" aus, um mit den Erweiterten Einstellungsseiten fortzufahren.

6. Wählen Sie Erstellen aus, um den Prompt flow bereitzustellen.

7. Um den Status Ihrer Bereitstellung anzuzeigen, wählen Sie "Modelle + Endpunkte " im linken Bereich aus. Nachdem die Bereitstellung erfolgreich erstellt wurde, wählen Sie die Bereitstellung aus, um weitere Informationen anzuzeigen.

   

8. Wählen Sie die Registerkarte " Nutzen " aus, um Codebeispiele anzuzeigen, mit denen Sie das bereitgestellte Modell in Ihrer Anwendung nutzen können.

   Auf dieser Seite können Sie auch die Endpunkt-URL sehen, die Sie verwenden können, um den Endpunkt zu nutzen.

   

9. Sie können den REST-Endpunkt direkt verwenden oder mit einem der hier gezeigten Beispiele beginnen.

   

Informationen zum Bereitstellen eines Basismodells finden Sie unter Bereitstellen von Modellen mit Azure AI Foundry.

Einstellungen und Konfigurationen

Anforderungstextdatei

Optionalerweise können Sie im requirements.txt zusätzliche Pakete angeben, die Sie benötigen. Sie können requirements.txt im Stammordner des Flow-Ordners finden. Wenn Sie einen Prompt-Flow in der Benutzeroberfläche auf einem verwalteten Onlineendpunkt bereitstellen, verwendet die Bereitstellung standardmäßig die Umgebung, die basierend auf dem im Basisimage flow.dag.yaml und den Abhängigkeiten requirements.txt des Flusses angegebenen Spezifikationen erstellt wurde.

Das in flow.dag.yaml angegebene Basisbild muss basierend auf dem Basisbild für den Prompt Flow mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> erstellt werden. Sie finden die neueste Version auf dieser Website. Wenn Sie das Basisimage flow.dag.yamlnicht angeben, verwendet die Bereitstellung das Standardbasisimage mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Grundlegende Einstellungen

In diesem Schritt konfigurieren Sie die grundlegenden Einstellungen, wenn Sie im Flow-Editor Bereitstellen auswählen.

Eigentum	BESCHREIBUNG
Endpunkt	Wählen Sie aus, ob Sie einen neuen Endpunkt bereitstellen oder einen vorhandenen Endpunkt aktualisieren möchten. Wenn Sie Neu wählen, müssen Sie den Endpunktnamen angeben.
Bereitstellungsname	– Innerhalb desselben Endpunkts sollte der Bereitstellungsname eindeutig sein. – Wenn Sie einen vorhandenen Endpunkt auswählen und einen vorhandenen Bereitstellungsnamen eingeben, wird diese Bereitstellung mit den neuen Konfigurationen überschrieben.
Virtueller Computer	Die Größe des virtuellen Computers, die für die Bereitstellung verwendet werden soll.
Instanzanzahl	Die Anzahl der Instanzen, die für die Bereitstellung verwendet werden sollen. Geben Sie den Wert für die erwartete Arbeitslast an. Für Hochverfügbarkeit empfiehlt es sich, den Wert mindestens auf 3 festzulegen. Wir reservieren zusätzliche 20 % für die Durchführung von Upgrades.
Ableitungsdatensammlung	Wenn Sie diese Einstellung aktivieren, werden die Flusseingaben und -ausgaben in einer Azure Machine Learning-Datenressource automatisch erfasst. Sie können sie für eine spätere Überwachung verwenden.

Nachdem Sie die grundlegenden Einstellungen abgeschlossen haben, wählen Sie "Überprüfen" und "Erstellen" aus, um die Erstellung abzuschließen. Sie können auch "Weiter" auswählen, um erweiterte Einstellungen zu konfigurieren.

Erweiterte Einstellungen: Endpunkt

Sie können die folgenden Einstellungen für den Endpunkt festlegen.

Im Workflow für erweiterte Einstellungen können Sie auch Bereitstellungstags angeben und eine benutzerdefinierte Umgebung auswählen.

Authentifizierungsart

Diese Einstellung identifiziert die Authentifizierungsmethode für den Endpunkt. Für die schlüsselbasierte Authentifizierung werden ein primärer und ein sekundärer Schlüssel bereitgestellt, die nicht ablaufen. Für die tokenbasierte Azure Machine Learning-Authentifizierung wird ein Token bereitgestellt, das regelmäßig automatisch aktualisiert wird.

Identitätstyp

Der Endpunkt muss zum Ableiten auf Azure-Ressourcen zugreifen, z. B. azure Container Registry oder Ihre Azure AI Foundry Hub-Verbindungen. Sie können dem Endpunkt Berechtigungen für den Zugriff auf Azure-Ressourcen gewähren, indem Sie seiner verwalteten Identität diese Berechtigung zuweisen.

Die vom System zugewiesene Identität wird automatisch erstellt, nachdem Ihr Endpunkt erstellt wurde. Der Benutzer erstellt die vom Benutzer zugewiesene Identität. Weitere Informationen finden Sie in der Übersicht zu verwalteten Identitäten.

Vom System zugewiesen

Beachten Sie die Option "Zugriff auf geheime Verbindungsschlüssel erzwingen" (Vorschau). Wenn Ihr Datenflow Verbindungen verwendet, muss der Endpunkt auf Verbindungen zugreifen, um Schlussfolgerungen ziehen zu können. Die Option ist standardmäßig aktiviert.

Dem Endpunkt wird die Rolle "Azure Machine Learning Workspace Connection Secrets Reader" gewährt, um automatisch auf Verbindungen zuzugreifen, wenn Sie über die Berechtigung zum Lesen geheimer Verbindungsschlüssel verfügen. Wenn Sie diese Option deaktivieren, müssen Sie dieser Rolle die vom System zugewiesene Identität manuell erteilen oder Ihren Administrator um Hilfe bitten. Weitere Informationen finden Sie unter Erteilen der Berechtigung für die Endpunktidentität.

Vom Benutzer zugewiesen

Wenn Sie die Bereitstellung erstellen, versucht Azure, das Benutzercontainerimage aus der Containerregistrierung des Azure AI Foundry Hubs abzurufen und das Benutzermodell und Codeartefakte aus dem Speicherkonto des Hubs in den Benutzercontainer zu integrieren.

Wenn Sie den zugehörigen Endpunkt mit der Option der benutzerseitig zugewiesenen Identität erstellt haben, muss die benutzerzugewiesene Identität vor der Erstellung der Bereitstellung mit den folgenden Rollen versehen werden. Andernfalls schlägt die Bereitstellungserstellung fehl.

Umfang	Rolle	Warum es benötigt wird
Azure KI Foundry-Projekt	Azure Machine Learning Workspace Connection Secrets Reader-Rolle oder eine benutzerdefinierte Rolle mit Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action	Ruft von Projektverbindungen ab.
Azure KI Foundry-Projektcontainerregistrierung	ACR-Pullvorgang	Ruft Containerimages ab.
Standardspeicher des Azure KI Foundry-Projekts	Leser von Speicherblobdaten	Lädt ein Modell aus dem Speicher.
Azure KI Foundry-Projekt	Azure Machine Learning Metrics Writer (Vorschau)	Wenn Sie nach der Bereitstellung des Endpunkts Metriken des Endpunkts wie CPU, GPU, Datenträger oder Arbeitsspeicherauslastung überwachen möchten, weisen Sie die Identität dieser Berechtigung zu. Wahlfrei.

Weitere Informationen zum Erteilen von Berechtigungen für die Endpunktidentität finden Sie unter Erteilen von Berechtigungen für den Endpunkt.

Wichtig

Wenn Ihr Flow auf Microsoft Entra ID basierte Authentifizierungsverbindungen verwendet, unabhängig davon, ob Sie die systemseitig zugewiesene Identität oder die benutzerseitig zugewiesene Identität verwenden, müssen Sie der verwalteten Identität immer die entsprechenden Rollen der zugehörigen Ressourcen erteilen, damit sie API-Aufrufe an diese Ressource tätigen kann. Als Beispiel, wenn Ihre Azure OpenAI-Verbindung die Microsoft Entra ID-basierte Authentifizierung verwendet, müssen Sie der verwalteten Identität des Endpunkts die Cognitive Services OpenAI-Nutzerrolle oder Cognitive Services OpenAI-Mitwirkenderrolle der entsprechenden Azure OpenAI-Ressourcen erteilen.

Erweiterte Einstellungen: Ausgaben und Verbindungen

In diesem Schritt können Sie alle Ablaufausgaben anzeigen und angeben, welche Ausgaben in die Antwort des von Ihnen bereitgestellten Endpunkts eingeschlossen werden sollen. Standardmäßig sind alle Flowausgaben ausgewählt.

Sie können auch die Verbindungen angeben, die vom Endpunkt verwendet werden, wenn er Inferenz durchführt. Standardmäßig werden sie vom Flow geerbt.

Nachdem Sie alle vorherigen Schritte konfiguriert und überprüft haben, wählen Sie "Überprüfen" und "Erstellen" aus, um die Erstellung abzuschließen.

Erwarten Sie, dass es länger als 15 Minuten dauert, bis der Endpunkt erstellt ist. Die Phasen umfassen das Erstellen eines Endpunkts, das Registrieren eines Modells und das Erstellen einer Bereitstellung.

Der Bereitstellungserstellungsfortschritt sendet eine Benachrichtigung, die mit der Bereitstellung des Prompt Flows beginnt.

Aktivieren der Ablaufverfolgung durch Aktivieren der Application Insights-Diagnose (Vorschau)

Wenn Sie diese Funktion aktivieren, werden Ablaufverfolgungsdaten und Systemmetriken während der Inferenzzeit (z. B. Tokenanzahl, Flusslatenz und Flussanforderung) in mit dem Arbeitsbereich verknüpfte Application Insights gesammelt. Weitere Informationen finden Sie unter Ablaufverfolgungsdaten und Metriken zur Bereitstellung von Prompt Flows.

Zuweisen von Berechtigungen für den Endpunkt

Wichtig

Das Erteilen von Berechtigungen (Hinzufügen einer Rollenzuweisung) ist nur für den Besitzer der spezifischen Azure-Ressourcen aktiviert. Möglicherweise müssen Sie Ihren Azure-Abonnementbesitzer um Hilfe bitten. Diese Person ist möglicherweise Ihr IT-Administrator.

Es wird empfohlen, der vom Benutzer zugewiesenen Identität Rollen zu gewähren, sobald die Endpunkterstellung abgeschlossen ist. Es kann mehr als 15 Minuten dauern, bis die erteilte Genehmigung wirksam wird.

Führen Sie die folgenden Schritte aus, um die erforderlichen Berechtigungen in der Azure-Portalbenutzeroberfläche zu erteilen:

1. Wechseln Sie zur Azure AI Foundry-Projektübersichtsseite im Azure-Portal.

2. Wählen Sie Zugriffssteuerung (IAM) und anschließend Rollenzuweisung hinzufügen aus.

   

3. Wählen Sie " Azure Machine Learning Workspace Connection Secrets Reader" und dann "Weiter" aus.

   Die Rolle "Azure Machine Learning Workspace Connection Secrets Reader " ist eine integrierte Rolle, die über die Berechtigung zum Abrufen von Hubverbindungen verfügt.

   Wenn Sie eine angepasste Rolle verwenden möchten, stellen Sie sicher, dass die angepasste Rolle über die Berechtigung Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action verfügt. Weitere Informationen finden Sie unter Erstellen benutzerdefinierter Rollen.

4. Wählen Sie verwaltete Identität und dann Mitglieder aus:

   • Vom System zugewiesene Identität: Wählen Sie unter vom System zugewiesener verwalteter Identität den Onlineendpunktfür maschinelles Lernen aus, und suchen Sie nach Endpunktname.
   • Vom Benutzer zugewiesene Identität: Wählen Sie vom Benutzer zugewiesene verwaltete Identität aus, und suchen Sie nach Identitätsnamen.

5. Für die vom Benutzer zugewiesene Identität müssen Sie Berechtigungen für die Hubcontainerregistrierung und das Speicherkonto erteilen. Sie finden das Containerregistrierungs- und Speicherkonto auf der Hubübersichtsseite im Azure-Portal.

   

   Wechseln Sie zur Übersichtsseite der Hub-Containerregistrierung und wählen Sie Zugriffssteuerung>Rollenzuweisung hinzufügen aus. Ordnen Sie ACR Pull der Endpunktidentität zu.

   Wechseln Sie zur Übersichtsseite des Hub-Standardspeichers und wählen Sie Zugriffssteuerung>Rollenzuweisung hinzufügen aus. Weisen Sie Speicher-Blob-Datenleser der Endpunktidentität zu.

6. Optional: Für eine benutzerdefinierte Identität, wenn Sie endpunktbezogene Metriken wie CPU-/GPU-/Festplatten-/Speicherauslastung überwachen möchten, müssen Sie der Identität die Rolle Workspace-Metriken-Schreiber des Hubs zuweisen.

Überprüfen des Status des Endpunkts

Sie erhalten Benachrichtigungen, nachdem Sie den Bereitstellungs-Assistenten fertiggestellt haben. Nachdem der Endpunkt und die Bereitstellung erfolgreich erstellt wurden, wählen Sie " Details anzeigen " in der Benachrichtigung für die Bereitstellungsdetailseite aus.

Sie können auch direkt zur Seite "Modell+ Endpunkte " im linken Bereich wechseln, die Bereitstellung auswählen und den Status überprüfen.

Testen des Endpunkts

Wählen Sie auf der Seite "Bereitstellungsdetails" die Registerkarte " Test " aus.

Für Endpunkte, die aus dem Standardfluss bereitgestellt werden, können Sie Werte im Formular-Editor oder JSON-Editor eingeben, um den Endpunkt zu testen.

Testen eines über einen Chatflow bereitgestellten Endpunkts

Für Endpunkte, die aus einem Chatfluss bereitgestellt werden, können Sie sie in einem immersiven Chatfenster testen.

Die chat_input Nachricht wurde während der Entwicklung des Chatflusses festgelegt. Sie können die chat_input Nachricht in das Eingabefeld einfügen. Wenn Ihr Fluss über mehrere Eingaben verfügt, können Sie die Werte für andere Eingaben neben der chat_input Meldung im Eingabebereich auf der rechten Seite angeben.

Verwenden des Endpunkts

Wählen Sie auf der Seite "Bereitstellungsdetails" die Registerkarte " Nutzen " aus. Sie finden den REST-Endpunkt und schlüssel/token, um Ihren Endpunkt zu nutzen. Beispielcode steht ihnen auch zur Verfügung, um den Endpunkt in verschiedenen Sprachen zu nutzen.

Sie müssen Werte für RequestBody oder data und api_key eingeben. Wenn Ihr Ablauf beispielsweise zwei Eingaben, location und url, aufweist, müssen Sie die Daten wie im folgenden Beispiel angeben:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Bereinigen von Ressourcen

Wenn Sie den Endpunkt nach Abschluss dieses Lernprogramms nicht verwenden werden, löschen Sie den Endpunkt. Die vollständige Löschung kann etwa 20 Minuten dauern.

Verwandte Inhalte

• Erfahren Sie mehr über die Möglichkeiten, die Ihnen Azure KI Foundry bietet.
• Hier erhalten Sie Antworten auf häufig gestellte Fragen in den Häufig gestellten Fragen zu Azure AI Foundry.
• Aktivieren Sie die Ablaufverfolgung und Sammlung von Feedback für Ihre Bereitstellung.