Upgraden von ML-Workflows auf Zielmodelle in Unity Catalog

In diesem Artikel wird erläutert, wie Sie Databricks-Workflows so migrieren und aktualisieren, dass sie Zielmodelle in Unity Catalog verwenden.

Anforderungen

Erforderliche Privilegien

Zum Ausführen eines Modellschulungs-, Bereitstellungs- oder Rückschlussworkflows in Unity Catalog muss der Prinzipal, der den Workflow ausführt, über die Berechtigungen USE CATALOG und USE SCHEMA für den Katalog und das Schema verfügen, die das Modell enthalten.

Die folgenden Berechtigungen sind ebenfalls erforderlich:

• Zum Erstellen eines Modells muss der Prinzipal über die Berechtigung CREATE MODEL verfügen.
• Zum Laden oder Bereitstellen eines Modells muss der Prinzipal über die Berechtigung EXECUTE für das registrierte Modell verfügen.

Nur der Besitzer eines registrierten Modells kann:

• Eine neue Modellversion erstellen.
• Einen Alias für ein registriertes Modell festlegen.

Computeanforderungen

Die für den Workflow angegebene Computeressource muss Zugriff auf Unity Catalog haben. Weitere Informationen finden Sie unter Zugriffsmodi.

Erstellen paralleler Trainings-, Bereitstellungs- und Rückschlussworkflows

Um Modelltrainings- und Rückschlussworkflows auf Unity Catalog zu aktualisieren, empfiehlt Databricks einen inkrementellen Ansatz, bei dem Sie eine Pipeline für paralleles Training, Bereitstellung und Rückschluss erstellen, die Modelle in Unity Catalog nutzt. Wenn Sie mit den Ergebnissen bei Verwendung von Unity Catalog zufrieden sind, können Sie Downstreamconsumer auf das Lesen der Batchrückschlussausgabe umstellen oder den an Modelle in Unity Catalog weitergeleiteten Datenverkehr in Bereitstellungsendpunkten erhöhen.

Modelltrainingsworkflow

Klonen Sie Ihren Modelltrainingsworkflow. Vergewissern Sie sich, dass der Prinzipal, der den Workflow ausführt, und der für den Workflow angegebene Compute die Anforderungen erfüllen.

Ändern Sie als Nächstes den Modelltrainingscode im geklonten Workflow. Möglicherweise müssen Sie das vom Workflow ausgeführte Notebook klonen oder einen neuen Git-Branch im geklonten Workflow erstellen und als Ziel festlegen. Führen Sie diese Schritte aus, um die erforderliche Version von MLflow zu installieren und den Client mit Unity Catalog als Ziel in Ihrem Trainingscode zu konfigurieren. Aktualisieren Sie dann den Modelltrainingscode, um Modelle bei Unity Catalog zu registrieren. Siehe Trainieren und Registrieren von Unity Catalog-kompatiblen Modellen.

Modellbereitstellungsworkflow

Klonen Sie Ihren Modellbereitstellungsworkflow. Vergewissern Sie sich, dass der Prinzipal, der den Workflow ausführt, und der für den Workflow angegebene Compute die Anforderungen erfüllen.

Wenn Sie über eine Modellüberprüfungslogik in Ihrem Bereitstellungsworkflow verfügen, aktualisieren Sie sie, um Modellversionen aus UC zu laden. Verwenden Sie Aliase, um Rollouts von Produktionsmodellen zu verwalten.

Modellrückschlussworkflow

Batchrückschlussworkflow

Klonen Sie den Batchrückschlussworkflow. Vergewissern Sie sich, dass der Prinzipal, der den Workflow ausführt, und der für den Workflow angegebene Compute die Anforderungen erfüllen.

Modellbereitstellungsworkflow

Wenn Sie Mosaic AI Model Serving verwenden, müssen Sie Ihren vorhandenen Endpunkt nicht klonen. Nutzen Sie stattdessen das Feature zur Datenverkehrsaufteilung, um mit der Weiterleitung eines kleinen Teils des Datenverkehrs an Modelle in Unity Catalog zu beginnen. Erhöhen Sie beim Überprüfen der Ergebnisse mit Unity Catalog den Umfang des Datenverkehrs, bis der gesamte Datenverkehr umgeleitet wird.

Höherstufen eines Modell in mehreren Umgebungen

Das umgebungsübergreifende Höherstufen eines Modells funktioniert bei Modellen in Unity Catalog anders. Weitere Einzelheiten finden Sie unter Höherstufen eines Modell in mehreren Umgebungen.

Verwenden von Auftragswebhooks zur manuellen Genehmigung für die Modellimplementierung

Databricks empfiehlt, die ModellImplemented. nach Möglichkeit vollständig zu automatisieren und während des Modellimplementierungsprozesses geeignete Überprüfungen und Tests zu verwenden. Wenn Sie jedoch manuelle Genehmigungen für die Bereitstellung von Produktionsmodellen durchführen müssen, können Sie Auftragsbenachrichtigungen verwenden, um externe CI/CD-Systeme aufzurufen und eine manuelle Genehmigung für die Bereitstellung eines Modells anzufordern, nachdem Ihr Modelltrainingsauftrag erfolgreich abgeschlossen wurde. Nach der manuellen Genehmigung kann Ihr CI/CD-System die Modellversion bereitstellen, um Datenverkehr zu verarbeiten, z. B. durch Festlegen des Alias „Champion“.