Migrieren zur Modellbereitstellung

Artikel
10/30/2024

In diesem Artikel wird veranschaulicht, wie Sie die Modellbereitstellung in Ihrem Arbeitsbereich aktivieren und Ihre Modelle auf die Mosaik AI Model Serving-Erfahrung umstellen, die auf serverloser Berechnung basiert.

Anforderungen

Registriertes Modell in der MLflow-Modellregistrierung.
Berechtigungen für die registrierten Modelle, wie in der Zugriffssteuerungsanleitung beschrieben.
Aktivieren Sie serverloses Computing in Ihrem Arbeitsbereich.

Wichtige Änderungen

In der Modellbereitstellung unterscheiden sich das Format der Anforderung an den Endpunkt und die Antwort des Endpunkts geringfügig von der Legacy-MLflow-Modellbereitstellung. Einzelheiten zum neuen Formatprotokoll finden Sie unter Scoring eines Modellendpunkts.
In der Modellbereitstellung enthält serving-endpoints die Endpunkt-URL anstelle von model.
Die Modellbereitstellung umfasst vollständige Unterstützung für die Verwaltung von Ressourcen mit API-Workflows.
Die Modellbereitstellung ist produktionsbereit und wird von der Azure Databricks SLA abgedeckt.

Migrieren von mit Legacy-MLflow-Modellbereitstellung bereitgestellten Modellen zur Modellbereitstellung

Sie können einen Modellbereitstellungs-Endpunkt erstellen und einen flexiblen Übergang von Modellbereitstellungs-Workflows vornehmen, ohne die Legacy-MLflow-Modellbereitstellung zu deaktivieren.

Die folgenden Schritte zeigen, wie Sie dies mit der Benutzeroberfläche ausführen. Für jedes Modell, für das die Legacy-MLflow-Modellbereitstellung aktiviert ist:

Registrieren Sie Ihr Modell im Unity-Katalog.
Navigieren Sie in der Seitenleiste Ihres Machine Learning-Arbeitsbereichs zu Endpunkte für die Bereitstellung.
Folgen Sie dem unter Erstellen von benutzerdefinierten Endpunkten für die Modellbereitstellung beschriebenen Workflow, um einen Bereitstellungsendpunkt mit Ihrem Modell zu erstellen.
Stellen Sie Ihre Anwendung auf die Nutzung der neuen URL um, die vom Bereitstellungs-Endpunkt bereitgestellt wird, um das Modell zusammen mit dem neuen Bewertungsformat abzufragen.
Wenn die Umstellung Ihrer Modelle abgeschlossen ist, können Sie in der Seitenleiste Ihres Machine Learning-Arbeitsbereichs zu Modelle navigieren.
Wählen Sie das Modell aus, für das Sie die Legacy-MLflow-Modellbereitstellung deaktivieren möchten.
Wählen Sie auf der Registerkarte Bereitstellung" die Option Beenden aus.
Eine Bestätigungsmeldung wird angezeigt. Wählen Sie Bereitstellung beenden aus.

Migrieren bereitgestellter Modellversionen zur Modellbereitstellung

In früheren Versionen der Modellbereitstellungs-Funktionalität wurde der Bereitstellungs-Endpunkt basierend auf der Phase der registrierten Modellversion erstellt: Staging oder Production. Um Ihre bereitgestellten Modelle von dieser Erfahrung zu migrieren, können Sie dieses Verhalten in der neuen Modellbereitstellungs-Erfahrung replizieren.

In diesem Abschnitt wird das Erstellen separater Modellbereitstellungs-Endpunkte für Staging-Modellversionen und Production-Modellversionen veranschaulicht. Die folgenden Schritte zeigen, wie Sie dies mit der Bereitstellungs-Endpunkt-API für jedes Ihrer bereitgestellten Modelle erreichen.

Im Beispiel hat der registrierte Modellname modelA Version 1 in der Modellphase Production und Version 2 in der Modellphase Staging.

Erstellen Sie zwei Endpunkte für Ihr registriertes Modell, einen für Staging-Modellversionen und einen für Production-Modellversionen.

Für Staging-Modellversionen:

POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Staging"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"2",  // Staging Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

Für Production-Modellversionen:

POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Production"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"1",   // Production Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

Überprüfen Sie den Status der Endpunkte.

Für Staging-Endpunkt: GET /api/2.0/serving-endpoints/modelA-Staging

Für Produktions-Endpunkt: GET /api/2.0/serving-endpoints/modelA-Production
Nachdem die Endpunkte bereit sind, fragen Sie den Endpunkt ab mit:

Für Staging-Endpunkt: POST /serving-endpoints/modelA-Staging/invocations

Für Produktions-Endpunkt: POST /serving-endpoints/modelA-Production/invocations
Aktualisieren Sie den Endpunkt basierend auf Modellversionsübergängen.

In dem Szenario, in dem eine neue Modellversion 3 erstellt wird, können Sie die Modellversion 2 auf Production umstellen, während Modellversion 3 auf Staging umgestellt werden kann und Modellversion 1 Archived ist. Diese Änderungen können in separaten Modellbereitstellungs-Endpunkten wie folgt widerspiegelt werden:

Aktualisieren Sie für den Staging-Endpunkt den Endpunkt so, dass die neue Modellversion in Staging verwendet wird.
```
PUT /api/2.0/serving-endpoints/modelA-Staging/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"3",  // New Staging model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}
```
Aktualisieren Sie für Endpunkt Production den Endpunkt so, dass er die neue Modellversion in Production verwendet.
```
PUT /api/2.0/serving-endpoints/modelA-Production/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"2",  // New Production model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}
```

Migrieren von MosaicML-Rückschlussworkflows zur Modellbereitstellung

Dieser Abschnitt enthält einen Leitfaden zum Migrieren Ihrer MosaicML-Rückschlussbereitstellungen zu Mosaic AI Model Serving und enthält ein Notebookbeispiel.

Die folgende Tabelle enthält eine Zusammenfassung der Parität zwischen dem MosaicML-Rückschluss und der Modellbereitstellung in Azure Databricks.

MosaicML-Rückschluss	Mosaic AI Model Serving
create_inference_deployment	Erstellen eines Modellbereitstellungsendpunkts
update_inference_deployment	Aktualisieren eines Modellbereitstellungsendpunkts
delete_inference_deployment	Löschen eines Modellbereitstellungsendpunkts
get_inference_deployment	Abrufen des Status eines Modellbereitstellungsendpunkts

Das folgende Notebook enthält ein geführtes Beispiel für die Migration eines llama-13b-Modells von MosaicML zu Mosaic AI Model Serving.

Notebook für die Migration vom MosaicML-Rückschluss zu Mosaic AI Model Serving

Notebook abrufen

Freigeben über