Hinzufügen einer Modellbereitstellungsendpunkt-Ressource zu einer Databricks-App

Fügen Sie ein Modell hinzu, das Endpunkte als Databricks-Apps-Ressourcen bedient, damit Ihre App Machine Learning-Modelle nach Rückschlüssen abfragen kann. Modellbereitstellungsendpunkte behandeln Modellvorhersagen und stellen eine konsistente Schnittstelle für den Zugriff auf bereitgestellte Modelle bereit.

Hinzufügen einer Modellbereitstellungsendpunktressource

Bevor Sie ein Modell hinzufügen, das Endpunkt als Ressource dient, überprüfen Sie die Voraussetzungen für die App-Ressource.

1. Im Bereich App-Ressourcen, wenn Sie eine App erstellen oder bearbeiten, klicken Sie auf + Ressource hinzufügen>Modell.
2. Wählen Sie im Resource Picker einen Modellbereitstellungsendpunkt aus dem Abschnitt Serving Endpoints aus. Der Auswähler listet außerdem die Unity Gateway-Modelldienste unter einem Unity-Gateway-Abschnitt auf.
3. Wählen Sie die entsprechende Berechtigungsstufe für Ihre App aus:
   • Kann anzeigen: Zeigen Sie Endpunktmetadaten an, einschließlich Modellnamen, Versionen und Workloadkonfiguration. Ableitungsanforderungen können nicht gesendet werden.
   • Kann abfragen: Senden von Rückschlussanforderungen und Anzeigen von Metadaten. Verwenden Sie dies für die meisten Apps, die Modellvorhersagen benötigen.
   • Kann verwalten: Vollständige Administrative Kontrolle, einschließlich Ansicht, Bearbeiten, Abfragen, Löschen und Verwalten von Berechtigungen.
4. (Optional) Geben Sie einen benutzerdefinierten Ressourcenschlüssel an, mit dem Sie auf das Modell verweisen, das Endpunkt in Ihrer App-Konfiguration bedient. Der Standardschlüssel ist model.

Hinweis

Der Modellbereitstellungsendpunkt muss sich in einem READY Zustand befinden, um Anforderungen zur Inferenzverarbeitung von Ihrer App zu bearbeiten.

Hinweis

Von Azure Databricks verwaltete Serving-Endpunkte für Foundation-Modelle (Namen, die mit databricks- beginnen) sind im Picker als Legacy markiert. Um ein Foundation-Modell zu bedienen, verbinden Sie stattdessen einen Unity-Gateway-Modelldienst .

Umgebungsvariablen

Wenn Sie eine App mit einer Modellbereitstellungsendpunktressource bereitstellen, macht Azure Databricks den Dienstendpunktnamen über Umgebungsvariablen verfügbar, auf die Sie mithilfe des Felds valueFrom verweisen können.

Beispiel:

SERVING_ENDPOINT=<your-serving-endpoint-name>

Weitere Informationen finden Sie unter Verwenden von Umgebungsvariablen für den Zugriff auf Ressourcen.

Entfernen einer Modellbereitstellungsendpunktressource

Wenn Sie ein Modell zur Bereitstellung von Endpunktressourcen aus einer App entfernen, verliert der Dienstprinzipal der App den Zugriff auf den Endpunkt. Das Modell, das Endpunkt selbst bedient, bleibt unverändert und ist weiterhin für andere Benutzer und Anwendungen verfügbar, die über entsprechende Berechtigungen verfügen.

Bewährte Methoden

Beachten Sie Folgendes, wenn Sie mit dem Modell arbeiten, das Endpunktressourcen bedient:

• Erteilen Sie minimale Berechtigungen. Verwenden Sie Can view für den geringsten Zugriff oder Can query für die meisten Apps, die Inferenzen-Anfragen senden müssen, es sei denn, Ihre App muss speziell administrative Aufgaben auf dem Endpunkt ausführen.
• Vermeiden Sie nach Möglichkeit lange ausgeführte Abfragen, da Inferenzanforderungen zu Zeitüberschreitungen führen können.
• Überprüfen Sie den Endpunktstatus, bevor Sie Anforderungen senden. Endpunkte müssen sich im READY Zustand befinden, um Abfragen zu verarbeiten.
• Erwägen Sie, Ihre Inferenzanforderungen zu begrenzen, um zu vermeiden, dass der Endpunkt überlastet wird, insbesondere in Zeiten mit hohem Datenaufkommen.