Expressbereitstellungen für Modellbereitstellungsendpunkte

Expressbereitstellung verkürzt die Bereitstellungszeit für benutzerdefinierte Modell-Endpunkte . Für qualifizierte Modelle auf CPU- oder GPU-basierten Rechenleistungssystemen bereitet Azure Databricks automatisch kompatible Modellumgebungen vor und verwendet sie wieder, wenn Sie einen Endpunkt erstellen oder aktualisieren. Es ist kein zusätzlicher Registrierungsparameter oder die Auswahl des Bereitstellungsmodus erforderlich.

Requirements

Die Express-Bereitstellung unterstützt benutzerdefinierte Modelle auf CPU- und GPU-Serving-Endpunkten.

Das Modell muss mit MLflow aus Azure Databricks Compute protokolliert werden, entweder klassischer Compute mit Databricks Runtime oder serverloser Compute.

Azure Databricks prüft außerdem, ob die aufgezeichnete Laufzeit, die Python-Version und die Abhängigkeiten des Modells mit dem ausgewählten dienenden Rechenwert kompatibel sind. Siehe Konfigurationen, die die Bereitstellungszeit beeinflussen können.

Bereitstellen eines Modells

Protokollieren und registrieren Sie Ihr Modell und erstellen oder aktualisieren Sie dann einen servierenden Endpunkt mit CPU- oder GPU-Rechenleistung. Du musst die Umgebung nicht separat für berechtigte Modelle vorbereiten.

Fügen Sie die Abhängigkeiten ein, die Ihr Modell benötigt, wenn Sie es mit MLflow protokollieren. Express-Bereitstellung verwendet die aufgezeichnete Laufzeit und Abhängigkeiten des Modells, anstatt eine Kopie Ihrer laufenden Notizbuchsitzung. Siehe Bereitstellungscontainer und Abhängigkeiten.

Was während der Bereitstellung zu erwarten ist

Die erste Bereitstellung eines Modells kann zusätzliche Zeit in Anspruch nehmen, während Azure Databricks seine Umgebung vorbereitet. Spätere Bereitstellungen können eine kompatible, vorbereitete Umgebung wiederverwenden. Die Bereitstellungszeit hängt auch von der Modellgröße, der Modellbelastung und der Verfügbarkeit der Rechenleistung ab.

Konfigurationen, die die Bereitstellungszeit beeinflussen können

Wenn Express Deployment nicht angewendet werden kann, verwendet Azure Databricks einen Bereitstellungsprozess, der länger dauern kann. Konfigurationen, die Expressbereitstellung verhindern können, umfassen:

Configuration Fälle, die Express-Bereitstellung verhindern können
Laufzeit und Python Fehlende Laufzeit- oder Python-Versionsmetadaten oder eine Laufzeit- oder Python-Version, die nicht mit der ausgewählten CPU- oder GPU-Serving-Rechenressource kompatibel ist.
Modellumgebung Eine reine Conda-Umgebung oder eine Abhängigkeit von PySpark.
Anforderungen an Abhängigkeiten Nicht unterstützte Einträge in den pip-Anforderungen des Modells, wie editierbare Installationen, Git- oder URL-Abhängigkeiten, Überschreibungen des Paketindex oder gebündelte Wheels ohne Inhaltshash.
GPU-Abhängigkeiten Nicht unterstützte GPU-spezifische Anforderungen, wie CUDA-getaggte Paketversionen. Für Modelle, die auf serverlosem Compute protokolliert und auf GPUs bereitgestellt werden, müssen deklarierte torch, torchvision und torchaudio Anforderungen exakte Versionspins sein, die mit der GPU-Serving-Umgebung übereinstimmen.
Modellgröße Fehlende Metadaten zur Modellgröße oder Modellartefakte, die die Express-Bereitstellungsgrößengrenzen überschreiten.
Umgebungsdateigröße Python-Umgebungs- oder Anforderungsdateien, die das unterstützte Dateigrößenlimit überschreiten.
Arbeitsbereichskonfiguration Ein kundenverwalteter Schlüssel für verwaltete Dienste.

Sie müssen keinen anderen Bereitstellungsmodus auswählen.

GPU-Beispiel mit expliziter Umgebungsvorbereitung

Explizite Umgebungsvorbereitung mit env_pack bleibt für Workflows verfügbar, die während der Modellregistrierung die Notebook-Umgebung verpacken müssen. Das folgende Notizbuch verwendet diesen Workflow, um einen GPU-Reranker bereitzustellen. Zulässige CPU- und GPU-Modelle können Expressbereitstellung ohne diesen Parameter verwenden.

Führen Sie das Notebook in AI Runtime mit einer A10-GPU und der AI-Umgebung Version 5 aus. Das Notebook installiert die erforderlichen MLflow- und Databricks-SDK-Versionen und registriert das Modell mit env_pack=EnvPackConfig(name="databricks_model_serving").

EnvPackConfig installiert standardmäßig die Abhängigkeiten des Modells vor der Verpackung. Für Arbeitsbereiche ohne Internetzugang oder mit benutzerdefinierten Bibliotheken können Sie install_dependencies=False festlegen, wenn die erforderlichen Abhängigkeiten bereits in der Notizbuchumgebung verfügbar sind.

Express-Neusortierung-Starter-Notebook

Notebook abrufen