Teilen über

Migrieren zur Modellbereitstellung

In diesem Artikel wird veranschaulicht, wie Sie model Serving in Ihrem Arbeitsbereich aktivieren und Ihre Modelle auf das Mosaik AI Model Serving-Erlebnis umstellen, das auf serverloser Berechnung basiert.

Von Bedeutung

Ab dem 22. August 2025 können Kunden keine neuen Dienstendpunkte mehr mit der Legacy-MLflow-Modellbereitstellung erstellen. Am 15. September 2025 wird die Legacyerfahrung das Ende der Lebensdauer erreichen, und alle vorhandenen Endpunkte, die diesen Dienst verwenden, können nicht mehr verwendet werden.

Anforderungen

Wichtige Änderungen

  • In der Modellbereitstellung unterscheiden sich das Format der Anforderung an den Endpunkt und die Antwort des Endpunkts geringfügig von der Legacy-MLflow-Modellbereitstellung. Einzelheiten zum neuen Formatprotokoll finden Sie unter Scoring eines Modellendpunkts.
  • In der Modellbereitstellung enthält serving-endpoints die Endpunkt-URL anstelle von model.
  • Die Modellbereitstellung umfasst vollständige Unterstützung für die Verwaltung von Ressourcen mit API-Workflows.
  • Die Modellbereitstellung ist produktionsbereit und wird von der Azure Databricks SLA abgedeckt.

Identifizieren von Dienstendpunkten, die legacy mLflow Model Serving verwenden

So identifizieren Sie Modellbereitstellungsendpunkte, die legacy MLflow Model Serving verwenden:

  1. Navigieren Sie in Ihrem Arbeitsbereich zur Benutzeroberfläche "Modelle ".
  2. Wählen Sie den Registrierungsfilter "Arbeitsbereichsmodell" aus.
  3. Wählen Sie den " Legacy-Dienst" aus, der nur filtert .

Migrieren von mit Legacy-MLflow-Modellbereitstellung bereitgestellten Modellen zur Modellbereitstellung

Sie können einen Modellbereitstellungs-Endpunkt erstellen und einen flexiblen Übergang von Modellbereitstellungs-Workflows vornehmen, ohne die Legacy-MLflow-Modellbereitstellung zu deaktivieren.

Die folgenden Schritte zeigen, wie Sie dies mit der Benutzeroberfläche ausführen. Für jedes Modell, für das die Legacy-MLflow-Modellbereitstellung aktiviert ist:

  1. Registrieren Sie Ihr Modell im Unity-Katalog.
  2. Navigieren Sie in der Seitenleiste Ihres Machine Learning-Arbeitsbereichs zu Endpunkte für die Bereitstellung.
  3. Folgen Sie dem unter Erstellen von benutzerdefinierten Endpunkten für die Modellbereitstellung beschriebenen Workflow, um einen Bereitstellungsendpunkt mit Ihrem Modell zu erstellen.
  4. Stellen Sie Ihre Anwendung auf die Nutzung der neuen URL um, die vom Bereitstellungs-Endpunkt bereitgestellt wird, um das Modell zusammen mit dem neuen Bewertungsformat abzufragen.
  5. Wenn die Umstellung Ihrer Modelle abgeschlossen ist, können Sie in der Seitenleiste Ihres Machine Learning-Arbeitsbereichs zu Modelle navigieren.
  6. Wählen Sie das Modell aus, für das Sie die Legacy-MLflow-Modellbereitstellung deaktivieren möchten.
  7. Wählen Sie auf der Registerkarte Bereitstellung" die Option Beenden aus.
  8. Eine Bestätigungsmeldung wird angezeigt. Wählen Sie Bereitstellung beenden aus.

Migrieren bereitgestellter Modellversionen zur Modellbereitstellung

In früheren Versionen der Modellbereitstellungs-Funktionalität wurde der Bereitstellungs-Endpunkt basierend auf der Phase der registrierten Modellversion erstellt: Staging oder Production. Um Ihre bereitgestellten Modelle von dieser Erfahrung zu migrieren, können Sie dieses Verhalten in der neuen Modellbereitstellungs-Erfahrung replizieren.

In diesem Abschnitt wird das Erstellen separater Modellbereitstellungs-Endpunkte für Staging-Modellversionen und Production-Modellversionen veranschaulicht. Die folgenden Schritte zeigen, wie Sie dies mit der Bereitstellungs-Endpunkt-API für jedes Ihrer bereitgestellten Modelle erreichen.

Im Beispiel hat der registrierte Modellname modelA Version 1 in der Modellphase Production und Version 2 in der Modellphase Staging.

  1. Erstellen Sie zwei Endpunkte für Ihr registriertes Modell, einen für Staging-Modellversionen und einen für Production-Modellversionen.

    Für Staging-Modellversionen:

    POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Staging"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"2",  // Staging Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

    Für Production-Modellversionen:

    POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Production"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"1",   // Production Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

  2. Überprüfen Sie den Status der Endpunkte.

    Für Staging-Endpunkt: GET /api/2.0/serving-endpoints/modelA-Staging

    Für Produktions-Endpunkt: GET /api/2.0/serving-endpoints/modelA-Production

  3. Nachdem die Endpunkte bereit sind, fragen Sie den Endpunkt ab mit:

    Für Staging-Endpunkt: POST /serving-endpoints/modelA-Staging/invocations

    Für Produktions-Endpunkt: POST /serving-endpoints/modelA-Production/invocations

  4. Aktualisieren Sie den Endpunkt basierend auf Modellversionsübergängen.

    In dem Szenario, in dem eine neue Modellversion 3 erstellt wird, können Sie die Modellversion 2 auf Production umstellen, während Modellversion 3 auf Staging umgestellt werden kann und Modellversion 1 Archived ist. Diese Änderungen können in separaten Modellbereitstellungs-Endpunkten wie folgt widerspiegelt werden:

    Aktualisieren Sie für den Staging-Endpunkt den Endpunkt so, dass die neue Modellversion in Staging verwendet wird.

    PUT /api/2.0/serving-endpoints/modelA-Staging/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"3",  // New Staging model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}

    Aktualisieren Sie für Endpunkt Production den Endpunkt so, dass er die neue Modellversion in Production verwendet.

    PUT /api/2.0/serving-endpoints/modelA-Production/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"2",  // New Production model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}

Zusätzliche Ressourcen

  • Last updated on