Bereitstellung eines Flows als verwalteter Online-Endpunkt für Echtzeit-Inferenz

Nachdem Sie einen Ablauf erstellt und ordnungsgemäß getestet haben, möchten Sie ihn möglicherweise als Endpunkt bereitstellen, damit Sie den Endpunkt für Echtzeit-Inferenzen aufrufen können.

In diesem Artikel erfahren Sie, wie Sie einen Flow als verwalteten Onlineendpunkt für Rückschlüsse in Echtzeit bereitstellen. Auszuführende Schritte:

• Testen und Vorbereiten Ihres Flows für die Bereitstellung
• Eine Online-Bereitstellung erstellen
• Zuweisen von Berechtigungen für den Endpunkt
• Testen des Endpunkts
• Verwenden des Endpunkts

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Die Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und ist nicht für Produktionsworkloads vorgesehen. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Voraussetzungen

• Lernen Sie , wie man einen Ablauf im Prompt Flow erstellt und testet.

• Grundlegende Kenntnisse zu verwalteten Onlineendpunkten Verwaltete Onlineendpunkte nutzen leistungsstarke CPU- und GPU-Computer in Azure, die skalierbar sind und vollständig verwaltet werden. Auf diese Weise müssen Sie sich nicht um die Einrichtung und Verwaltung der zugrunde liegenden Bereitstellungsinfrastruktur kümmern. Weitere Informationen zu verwalteten Onlineendpunkten finden Sie unter Onlineendpunkte und Bereitstellungen für Rückschlüsse in Echtzeit.

• Die rollenbasierte Zugriffssteuerung in Azure (Azure RBAC) wird verwendet, um Zugriff auf Vorgänge in Azure Machine Learning zu gewähren. Um einen Endpunkt im Prompt Flow bereitstellen zu können, muss Ihrem Benutzerkonto die Rolle AzureML Data scientist oder eine Rolle mit mehr Rechten für den Arbeitsbereich Azure Machine Learning zugewiesen sein.

• Grundlegende Kenntnisse über verwaltete Identitäten. Weitere Informationen zu verwalteten Identitäten

Hinweis

Verwaltete Onlineendpunkte unterstützten nur verwaltete virtuelle Netzwerke. Wenn sich Ihr Arbeitsbereich in einem benutzerdefinierten VNet befindet, müssen Sie andere Bereitstellungsoptionen ausprobieren, z. B. die Bereitstellung auf einem Kubernetes-Onlineendpunkt mithilfe von CLI/SDK oder die Bereitstellung auf anderen Plattformen wie Docker.

Erstellen und Vorbereiten eines Flows für die Bereitstellung

Wenn Sie bereits das Tutorial "Erste Schritte" abgeschlossen haben, haben Sie den Ablauf bereits ordnungsgemäß getestet, indem Sie einen Batchlauf eingereicht und die Ergebnisse ausgewertet haben.

Wenn Sie das Tutorial noch nicht abgeschlossen haben, müssen Sie einen Flow erstellen. Die ordnungsgemäße Prüfung des Ablaufs durch einen Batch-Lauf und eine Bewertung vor der Bereitstellung ist eine empfohlene bewährte Praxis.

Als Beispiel wird anhand des Beispielflows zur Webklassifizierung gezeigt, wie der Flow bereitgestellt wird. Bei diesem Beispielflow handelt es sich um einen Standardflow. Die Bereitstellung von Chatflows ist ähnlich. Auswertungsflows unterstützen keine Bereitstellung.

Definieren der von der Bereitstellung verwendeten Umgebung

Wenn Sie einen Prompt Flow für einen verwalteten Online-Endpunkt in der Benutzeroberfläche bereitstellen, wird standardmäßig die Umgebung verwendet, die auf der Grundlage des neuesten Prompt Flow-Images und der in requirements.txt des Flows angegebenen Abhängigkeiten erstellt wurde. Sie können zusätzliche Pakete, die Sie benötigen, in requirements.txt angeben. Sie finden requirements.txt im Stammordner Ihres Flow-Ordners.

Hinweis

Wenn Sie private Feeds in Azure devops verwenden, müssen Sie das Image zuerst mit privaten Feeds erstellen und benutzerdefinierte Umgebung auswählen, die in der Benutzeroberfläche bereitgestellt werden soll.

Erstellen einer Online-Bereitstellung

Nachdem Sie nun einen Flow erstellt und ordnungsgemäß getestet haben, ist es an der Zeit, einen Onlineendpunkt für Rückschlüsse in Echtzeit zu erstellen.

Der Prompt-Flow unterstützt Sie bei der Bereitstellung von Endpunkten aus einem Flow oder einem Batch-Lauf. Es wird empfohlen, Ihren Flow vor der Bereitstellung zu testen.

Wählen Sie auf der Erstellungsseite für Flows oder der Detailseite für Ausführungen Bereitstellen aus.

Erstellungsseite für Flows:

Detailseite für Ausführungen:

Es wird ein Assistent zum Konfigurieren des Endpunkts angezeigt, der die folgenden Schritte umfasst.

Grundlegende Einstellungen

In diesem Schritt können Sie die Grundeinstellungen für die Bereitstellung konfigurieren.

Eigenschaft	Beschreibung
Endpunkt	Sie können auswählen, ob Sie einen neuen Endpunkt bereitstellen oder einen vorhandenen Endpunkt aktualisieren möchten. Wenn Sie Neu wählen, müssen Sie den Endpunktnamen angeben.
Bereitstellungsname	- Innerhalb desselben Endpunkts sollte der Bereitstellungsname eindeutig sein. - Wenn Sie einen vorhandenen Endpunkt auswählen und einen vorhandenen Bereitstellungsnamen eingeben, wird diese Bereitstellung mit den neuen Konfigurationen überschrieben.
Virtueller Computer	Die VM-Größe, die für die Bereitstellung verwendet werden soll. Eine Liste der unterstützten Größen finden Sie unter SKU-Liste für verwaltete Onlineendpunkte.
Anzahl von Instanzen	Die Anzahl der Instanzen, die für die Bereitstellung verwendet werden sollen. Geben Sie den Wert für die erwartete Arbeitslast an. Für Hochverfügbarkeit empfiehlt es sich, den Wert mindestens auf „3“ festzulegen. Wir reservieren zusätzliche 20 % für die Durchführung von Upgrades. Weitere Informationen finden Sie unter Kontingente für verwaltete Onlineendpunkte.
Sammlung von Rückschlussdaten	Wenn Sie diese Option aktivieren, werden die Floweingaben und -ausgaben automatisch in einer Azure Machine Learning-Datenressource erfasst und können für die spätere Überwachung verwendet werden. Weitere Informationen finden Sie unter Überwachung generativer KI-Anwendungen.

Nachdem Sie die Grundeinstellungen vorgenommen haben, können Sie direkt Überprüfen+Erstellen, um die Erstellung abzuschließen, oder Sie können Weiter wählen, um Erweiterte Einstellungen zu konfigurieren.

Erweiterte Einstellungen - Endpunkt

Sie können die folgenden Einstellungen für den Endpunkt festlegen.

Authentication type

Die Authentifizierungsmethode für den Endpunkt Für die schlüsselbasierte Authentifizierung werden ein primärer und ein sekundärer Schlüssel bereitgestellt, die nicht ablaufen. Für die tokenbasierte Azure Machine Learning-Authentifizierung wird ein Token bereitgestellt, das regelmäßig automatisch aktualisiert wird. Weitere Informationen zur Authentifizierung finden Sie unter Authentifizieren bei einem Onlineendpunkt.

Identitätstyp

Der Endpunkt muss für Rückschlüsse auf Azure-Ressourcen wie die Azure Container Registry oder Ihre Arbeitsbereichsverbindungen zugreifen. Sie können dem Endpunkt Berechtigungen für den Zugriff auf Azure-Ressourcen gewähren, indem Sie seiner verwalteten Identität diese Berechtigung zuweisen.

Es wird automatisch eine systemseitig zugewiesene Identität erstellt, nachdem Ihr Endpunkt erstellt wurde, während eine benutzerseitig zugewiesene Identität von den Benutzer*innen erstellt wird. Weitere Informationen zu verwalteten Identitäten

Systemseitig zugewiesen

Sie werden feststellen, dass es eine Option gibt, ob Zugang zu Verbindungsgeheimnissen erzwingen (Vorschau). Wenn Ihr DatenFlow Verbindungen verwendet, muss der Endpunkt auf Verbindungen zugreifen, um Schlussfolgerungen ziehen zu können. Die Option ist standardmäßig aktiviert, der Endpunkt erhält die Rolle Azure Machine Learning Workspace Connection Secrets Reader, um automatisch auf Verbindungen zuzugreifen, wenn Sie die Berechtigung Connection Secrets Reader haben. Wenn Sie diese Option deaktivieren, müssen Sie der vom System zugewiesenen Identität diese Rolle manuell zuweisen oder Ihren Administrator um Hilfe bitten. Erfahren Sie mehr darüber, wie Sie der Endpunktidentität eine Berechtigung erteilen können.

Vom Benutzer zugewiesene

Während Sie eine Bereitstellung erstellen, versucht Azure das Benutzercontainerimage aus der Azure Container Registry-Instanz (ACR) des Arbeitsbereichs zu pullen und das Benutzermodell und Codeartefakte aus dem Speicherkonto des Arbeitsbereichs in den Benutzercontainer einzubinden.

Wenn Sie den zugehörigen Endpunkt mit Benutzer zugewiesener Identität erstellt haben, muss die benutzerzugewiesene Identität vor der Erstellung der Bereitstellung mit den folgenden Rollen versehen werden ; andernfalls schlägt die Erstellung der Bereitstellung fehl.

`Scope`	Role	Zweck
Azure Machine Learning-Arbeitsbereich	Azure Machine Learning Workspace Connection Secrets Reader Rolle oder eine angepasste Rolle mit „Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action“	Rufen Sie Arbeitsbereichsverbindungen ab.
Containerregistrierung für Arbeitsbereich	ACR-Pullvorgang	Pullen von Containerimage
Standardspeicher für Arbeitsbereich	Leser von Speicherblobdaten	Laden des Modells aus dem Speicher
(Optional:) Azure Machine Learning-Arbeitsbereich	Arbeitsbereichsmetriken-Writer	Wenn Sie nach der Bereitstellung des Endpunkts Metriken des Endpunkts wie CPU, GPU, Datenträger oder Arbeitsspeicherauslastung überwachen möchten, müssen Sie der Identität diese Berechtigung zuweisen.

Ausführliche Anleitungen zum Erteilen von Berechtigungen für die Endpunktidentität finden Sie unter Erteilen von Berechtigungen für den Endpunkt.

Wichtig

Wenn Ihr Flow auf Microsoft Entra ID basierte Authentifizierungsverbindungen verwendet, unabhängig davon, ob Sie die systemseitig zugewiesene Identität oder die benutzerseitig zugewiesene Identität verwenden, müssen Sie der verwalteten Identität immer die entsprechenden Rollen der zugehörigen Ressourcen erteilen, damit sie API-Aufrufe an diese Ressource tätigen kann. Wenn Ihre Azure OpenAI-Verbindung beispielsweise die auf Microsoft Entra ID basierte Authentifizierung verwendet, müssen Sie der verwalteten Identität Ihres Endpunkts die Rolle „Cognitive Services OpenAI-Benutzer“ oder „Cognitive Services OpenAI-Mitwirkender“ der entsprechenden Azure OpenAI-Ressourcen erteilen.

Erweiterte Einstellungen - Bereitstellung

In diesem Schritt können Sie außer Tags auch die von der Bereitstellung verwendete Umgebung angeben.

Verwenden der Umgebung der aktuellen Flowdefinition

Standardmäßig verwendet die Bereitstellung die Umgebung, die basierend auf dem Basisimage erstellt wurde, das in flow.dag.yaml und den Abhängigkeiten in requirements.txt angegeben ist.

• Sie können das Basisimage in flow.dag.yaml angeben, indem Sie Raw file mode für den Flow auswählen. Wenn kein Image angegeben ist, ist das Standardbasisimage das neueste Promptflow-Basisimage.

  

• Sie finden requirements.txt im Stammordner Ihres Flowordners und fügen dort Abhängigkeiten hinzu.

  

Verwenden einer benutzerdefinierten Umgebung

Sie können auch eine benutzerdefinierte Umgebung erstellen und für die Bereitstellung verwenden.

Hinweis

Ihre benutzerdefinierte Umgebung muss die folgenden Anforderungen erfüllen:

• Das Docker-Image muss basierend auf dem Promptflow-Basisimage, mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>, erstellt werden. Die neueste Version finden Sie hier.
• Die Umgebungsdefinition muss die inference_config enthalten.

Nachfolgend sehen Sie ein Beispiel für die benutzerdefinierte Umgebungsdefinition.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: pf-customized-test
build:
  path: ./image_build
  dockerfile_path: Dockerfile
description: promptflow customized runtime
inference_config:
  liveness_route:
    port: 8080
    path: /health
  readiness_route:
    port: 8080
    path: /health
  scoring_route:
    port: 8080
    path: /score

Aktivieren der Ablaufverfolgung durch Aktivieren der Application Insights-Diagnose (Vorschau)

Wenn Sie diese Option aktivieren, werden Ablaufverfolgungsdaten und Systemmetriken während der Rückschlusszeit (z. B. Tokenanzahl, Flowwartezeit, Flowanforderung usw.) in der verknüpften Application Insights-Instanz des Arbeitsbereichs erfasst. Weitere Informationen finden Sie unter Ablaufverfolgungsdaten und Metriken zur Bereitstellung von Prompt Flows.

Wenn Sie eine andere Application Insights-Instanz als die des verknüpften Arbeitsbereichs angeben möchten, können Sie eine Konfiguration über die Befehlszeilenschnittstelle vornehmen.

Erweiterte Einstellungen: Ausgänge und Verbindungen

In diesem Schritt können Sie alle Flowausgaben anzeigen und angeben, welche Ausgaben in die Antwort des von dir bereitgestellten Endpunkts eingeschlossen werden sollen. Standardmäßig sind alle Flowausgaben ausgewählt.

Sie können auch die Verbindungen angeben, die der Endpunkt verwendet, wenn er die Inferenz durchführt. Standardmäßig werden sie vom Flow geerbt.

Wenn Sie alle oben genannten Schritte konfiguriert und überprüft haben, können Sie Überprüfen+Erstellen wählen, um die Erstellung abzuschließen.

Hinweis

Rechnen Sie damit, dass die Erstellung des Endpunkts mehr als 15 Minuten in Anspruch nimmt, da sie mehrere Schritte umfasst, darunter die Erstellung des Endpunkts, die Registrierung des Modells, die Erstellung der Bereitstellung usw.

Sie können den Fortschritt der Bereitstellung über die Benachrichtigung, die von Bereitstellung des Prompt Flow gestartet wird, nachvollziehen.

Zuweisen von Berechtigungen für den Endpunkt

Wichtig

Das Erteilen von Berechtigungen (Hinzufügen von Rollenzuweisungen) ist nur für den Besitzer der bestimmten Azure-Ressourcen aktiviert. Möglicherweise müssen Sie Ihren IT-Administrator um Hilfe bitten. Es wird empfohlen, der Benutzer-zugeordneten Identität vor der Erstellung der Bereitstellung Rollen zuzuweisen. Es kann mehr als 15 Minuten dauern, bis die erteilte Genehmigung wirksam wird.

Sie können alle Berechtigungen in der Azure-Portal-Benutzeroberfläche durch die folgenden Schritte erteilen.

1. Navigieren Sie im Azure-Portal zur Übersichtsseite Ihres Azure Machine Learning-Arbeitsbereichs.

2. Wählen Sie Zugriffssteuerung und dann Rollenzuweisung hinzufügen aus.

3. Wählen Sie Azure Machine Learning Workspace Connection Secrets Reader, gehen Sie zu Weiter.

   Hinweis

   Azure Machine Learning Workspace Connection Secrets Reader ist eine integrierte Rolle, die die Berechtigung hat, Workspace-Verbindungen zu erhalten.

   Wenn Sie eine benutzerdefinierte Rolle verwenden möchten, stellen Sie sicher, dass diese über die Berechtigung „Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action“ verfügt. Weitere Informationen finden Sie unter Erstellen benutzerdefinierter Rollen.

4. Wählen Sie Verwaltete Identität und dann Mitglieder aus.

   Wählen Sie für eine systemseitig zugewiesene Identität unter Systemseitig zugewiesene verwaltete Identität die Option Onlineendpunkt für maschinelles Lernen aus, und suchen Sie nach dem Endpunktnamen.

   Wählen Sie für benutzerseitig zugewiesene Identitäten die Option Benutzerseitig zugewiesene verwaltete Identität aus, und suchen Sie nach dem Identitätsnamen.

5. Für die Benutzer-zugewiesene Identität müssen Sie auch Berechtigungen für die Registrierung des Arbeitsbereich-Containers und das Speicherkonto erteilen. Sie finden die Container-Registrierung und das Speicherkonto auf der Workspace-Übersichtsseite im Azure-Portal.

   

   Gehen Sie zur Übersichtsseite der Arbeitsbereich-Containerregistrierung, wählen Sie Zugriffskontrolle und Rollenzuweisung hinzufügen und weisen Sie der Endpunktidentität ACR Pull |Pull Container Image zu.

   Gehen Sie zur Seite Standard-Speicherübersicht des Arbeitsbereichs, wählen Sie Zugriffskontrolle und Rollenzuweisung hinzufügen und weisen Sie der Endpunktidentität Storage Blob Data Reader zu.

6. (optional) Für die Benutzer-zugeordnete Identität müssen Sie, wenn Sie die endpunktbezogenen Metriken wie CPU/GPU/Festplatte/Speicherauslastung überwachen wollen, der Identität auch die Workspace-Metriken-Schreiber-Rolle des Workspace zuweisen.

Überprüfen des Status des Endpunkts

Nach Abschluss des Bereitstellungs-Assistenten werden Benachrichtigungen angezeigt. Nachdem der Endpunkt und die Bereitstellung erfolgreich erstellt wurden, können Sie in der Benachrichtigung auf der Detailseite des Endpunkts Bereitstellungsdetails auswählen.

Sie können auch direkt zur Seite Endpunkte in Studio wechseln und den Status des bereitgestellten Endpunkts überprüfen.

Testen des Endpunkts mit Beispieldaten

Wechseln Sie auf der Detailseite des Endpunkts zur Registerkarte Testen.

Sie können die Werte eingeben und die Schaltfläche Test wählen.

Das Testergebnis wird wie folgt angezeigt:

Testen eines über einen Chatflow bereitgestellten Endpunkts

Endpunkte, die über einen Chatflow bereitgestellt werden, können Sie in einem immersiven Chatfenster testen.

Die chat_input wurde während der Entwicklung des Chatflows festgelegt. Sie können die chat_input-Nachricht in das Eingabefeld eingeben. Im Bereich Eingaben auf der rechten Seite können Sie Werte für andere Eingaben außer chat_input angeben. Weitere Informationen finden Sie unter Entwickeln eines Chatflows.

Verwenden des Endpunkts

Wechseln Sie auf der Detailseite des Endpunkts zur Registerkarte Nutzen. Sie finden dort den REST-Endpunkt und den Schlüssel bzw. das Token für die Verwendung Ihres Endpunkts. Es gibt auch Beispielcode, mit dem Sie den Endpunkt in verschiedenen Sprachen nutzen können.

Beachten Sie, dass Sie die Datenwerte entsprechend Ihren Floweingaben ausfüllen müssen. Nehmen Sie den Beispielflow aus dem Artikel Webklassifizierung als Beispiel. Sie müssen data = {"url": "<the_url_to_be_classified>"} angeben und den Schlüssel oder das Token im Beispielnutzungscode ausfüllen.

Überwachen von Endpunkten

Anzeigen allgemeiner Metriken für verwaltete Onlineendpunkte mithilfe von Azure Monitor (optional)

Sie können in Studio über die Links auf der Seite Details für einen Endpunkt verschiedene Metriken (Anzahl der Anforderungen, Anforderungslatenz, Netzwerkbyte, CPU-/GPU-/Datenträger-/Arbeitsspeicherauslastung und mehr) für einen Onlineendpunkt und dessen Bereitstellungen anzeigen. Wenn Sie diesen Links folgen, gelangen Sie zur Metrikseite im Azure-Portal für den Endpunkt oder die Bereitstellung.

Hinweis

Wenn Sie eine benutzerseitig zugewiesene Identität für Ihren Endpunkt angeben, stellen Sie sicher, dass Sie Ihrer benutzerseitig zugewiesenen Identität die Rolle Arbeitsbereichsmetriken-Writer des Azure Machine Learning-Arbeitsbereichs zugewiesen haben. Andernfalls kann der Endpunkt die Metriken nicht protokollieren.

Weitere Informationen zum Anzeigen von Metriken zu Onlineendpunkten finden Sie unter Überwachen von Onlineendpunkten.

Anzeigen von bestimmten Metriken für Prompt Flow-Endpunkte und von Ablaufverfolgungsdaten (optional)

Wenn Sie die Application Insights-Diagnose im Bereitstellungsassistenten der Benutzeroberfläche aktivieren, werden Ablaufverfolgungsdaten und bestimmte Metriken für den Prompt Flow in der verknüpften Application Insights-Instanz des Arbeitsbereichs erfasst. Weitere Informationen finden Sie unter Aktivieren der Ablaufverfolgung für Ihre Bereitstellung.

Problembehandlung bei Endpunkten, die über den Eingabeaufforderungsflow bereitgestellt werden

Fehlende Autorisierung zum Ausführen der Aktion „Microsoft.MachineLearningService/workspaces/datastores/read“

Wenn Ihr Flow das Tool für die Indexsuche enthält, muss der Endpunkt nach der Bereitstellung des Flows auf den Datenspeicher des Arbeitsbereichs zugreifen, um die Datei „MLIndex.yaml“ oder den Ordner „FAISS“ mit Blöcken und Einbettungen zu lesen. Daher müssen Sie der Endpunktidentität manuell die Berechtigung dazu erteilen.

Sie können entweder die Endpunktidentität AzureML Data Scientist im Arbeitsbereich oder eine benutzerdefinierte Rolle zuweisen, die die Aktion „MachineLearningService/workspace/datastore/reader“ enthält.

MissingDriverProgram-Fehler

Wenn Sie den Flow mit benutzerdefinierter Umgebung bereitstellen und auf den folgenden Fehler stoßen, liegt die Ursache möglicherweise darin, dass Sie inference_config in Ihrer benutzerdefinierten Umgebungsdefinition nicht angegeben haben.

'error': 
{
    'code': 'BadRequest', 
    'message': 'The request is invalid.', 
    'details': 
         {'code': 'MissingDriverProgram', 
          'message': 'Could not find driver program in the request.', 
          'details': [], 
          'additionalInfo': []
         }
}

Es gibt zwei Möglichkeiten, diesen Fehler zu beheben.

• (Empfohlen) Sie finden den Containerimage-URI auf der Detailseite Ihrer benutzerdefinierten Umgebung. Legen Sie ihn als Flowbasisimage in der Datei „flow.dag.yaml“ fest. Wenn Sie den Flow in der Benutzeroberfläche bereitstellen, wählen Sie einfach Umgebung der aktuellen Flowdefinition verwenden aus. Dann erstellt der Back-End-Dienst die angepasste Umgebung basierend auf diesem Basisimage und requirement.txt für Ihre Bereitstellung. Erfahren Sie mehr über die Umgebung, die in der Flowdefinition angegeben ist.

  

  

• Sie können diesen Fehler beheben, indem Sie Ihrer benutzerdefinierten Umgebungsdefinition inference_config hinzufügen. Weitere Informationen finden Sie unter Verwenden der benutzerdefinierten Umgebung.

  Nachfolgend sehen Sie ein Beispiel für die benutzerdefinierte Umgebungsdefinition.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: pf-customized-test
build:
  path: ./image_build
  dockerfile_path: Dockerfile
description: promptflow customized runtime
inference_config:
  liveness_route:
    port: 8080
    path: /health
  readiness_route:
    port: 8080
    path: /health
  scoring_route:
    port: 8080
    path: /score

Modellantwort zu lang

Manchmal stellen Sie möglicherweise fest, dass die Bereitstellung zu lange für eine Antwort benötigt. Hierfür gibt es mehrere mögliche Faktoren.

• Das Modell ist nicht leistungsfähig genug (z. B. Verwendung von GPT über text-ada).
• Die Indexabfrage ist nicht optimiert und dauert zu lange.
• Der Flow muss viele Schritte verarbeiten.

Erwägen Sie, den Endpunkt über die obigen Überlegungen zu optimieren, um die Leistung des Modells zu verbessern.

Bereitstellungsschema kann nicht abgerufen werden

Wenn Sie den Endpunkt bereitgestellt haben und ihn auf der Registerkarte Test auf der Endpunktdetailseite testen möchten und auf der Registerkarte Test die Meldung Bereitstellungsschema kann nicht abgerufen werden angezeigt wird, können Sie die folgenden 2 Vorgehensweisen ausprobieren, um dieses Problem zu entschärfen:

• Stellen Sie sicher, dass Sie der Endpunktidentität die richtige Berechtigung erteilt haben. Erfahren Sie mehr darüber, wie der Endpunktidentität Berechtigungen erteilt werden.

Zugriff zum Auflisten des Arbeitsbereichsgeheimnisses verweigert

Wenn ein Fehler wie „Zugriff zum Auflisten des Arbeitsbereichsgeheimnisses verweigert“ auftritt, überprüfen Sie, ob Sie der Endpunktidentität die richtige Berechtigung erteilt haben. Erfahren Sie mehr darüber, wie der Endpunktidentität Berechtigungen erteilt werden.

Bereinigen von Ressourcen

Wenn Sie den Endpunkt nach Abschluss dieses Tutorials nicht mehr benötigen, sollten Sie ihn löschen.

Hinweis

Die vollständige Löschung kann etwa 20 Minuten dauern.

Nächste Schritte

• Iterieren und Optimieren von Flows durch Optimieren von Prompts mithilfe von Varianten
• Aktivieren der Ablaufverfolgung und Sammlung von Feedback für Ihre Bereitstellung
• Anzeigen der Kosten für einen verwalteten Azure Machine Learning-Onlineendpunkt
• Problembehandlung bei prompt flow-Bereitstellungen