ML-werkstromen upgraden naar doelmodellen in Unity Catalog

In dit artikel wordt uitgelegd hoe u bestaande Databricks-werkstromen migreert en upgradet voor het gebruik van modellen in Unity Catalog.

Vereisten

Vereiste bevoegdheden

Als u een modeltraining, implementatie of deductiewerkstroom in Unity Catalog wilt uitvoeren, moet de principal die de werkstroom uitvoert, beschikken over en USE SCHEMA bevoegdheden hebben USE CATALOG voor de catalogus en het schema waarin het model is opgeslagen.

De volgende bevoegdheden zijn ook vereist:

• Als u een model wilt maken, moet de principal over de CREATE MODEL bevoegdheid beschikken.
• Als u een model wilt laden of implementeren, moet de principal over de EXECUTE bevoegdheid van het geregistreerde model beschikken.

Alleen de eigenaar van een geregistreerd model kan het volgende doen:

• Maak een nieuwe modelversie.
• Stel een alias in op een geregistreerd model.

Rekenvereisten

De rekenresource die is opgegeven voor de werkstroom, moet toegang hebben tot Unity Catalog. Zie Access-modi.

Parallelle trainings-, implementatie- en deductiewerkstromen maken

Als u modeltrainings- en deductiewerkstromen wilt upgraden naar Unity Catalog, raadt Databricks een incrementele benadering aan waarin u een parallelle trainings-, implementatie- en deductiepijplijn maakt die gebruikmaakt van modellen in Unity Catalog. Wanneer u vertrouwd bent met de resultaten met behulp van Unity Catalog, kunt u downstreamgebruikers overschakelen om de uitvoer van batchdeductie te lezen of het verkeer dat wordt doorgestuurd naar modellen in Unity Catalog te verhogen in het leveren van eindpunten.

Werkstroom voor modeltraining

Kloon uw werkstroom voor modeltraining. Controleer of de principal die de werkstroom uitvoert en de berekening die is opgegeven voor de werkstroom voldoet aan de vereisten.

Wijzig vervolgens de modeltrainingscode in de gekloonde werkstroom. Mogelijk moet u het notebook dat wordt uitgevoerd door de werkstroom klonen of een nieuwe Git-vertakking maken en richten in de gekloonde werkstroom. Volg deze stappen om de benodigde versie van MLflow te installeren en de client zo te configureren dat deze gericht is op Unity Catalog in uw trainingscode. Werk vervolgens de modeltrainingscode bij om modellen te registreren bij Unity Catalog. Zie Modellen die compatibel zijn met Unity Catalog trainen en registreren.

Werkstroom voor modelimplementatie

Kloon de werkstroom voor de implementatie van uw model. Controleer of de principal die de werkstroom uitvoert en de berekening die is opgegeven voor de werkstroom voldoet aan de vereisten.

Als u modelvalidatielogica in uw implementatiewerkstroom hebt, werkt u deze bij om modelversies van UC te laden. Gebruik aliassen om implementaties van productiemodellen te beheren.

Werkstroom voor modeldeductie

Werkstroom voor batchdeductie

Kloon de werkstroom voor batchdeductie. Controleer of de principal die de werkstroom uitvoert en de berekening die is opgegeven voor de werkstroom voldoet aan de vereisten.

Model voor werkstroom

Als u Mosaic AI Model Serving gebruikt, hoeft u uw bestaande eindpunt niet te klonen. Gebruik in plaats daarvan de functie voor het splitsen van verkeer om te beginnen met het routeren van een klein deel van het verkeer naar modellen in Unity Catalog. Wanneer u de resultaten bekijkt met behulp van Unity Catalog, verhoogt u de hoeveelheid verkeer totdat al het verkeer wordt omgeleid.

Een model promoten in omgevingen

Het promoten van een model in omgevingen werkt anders met modellen in Unity Catalog. Zie Een model promoveren in omgevingen voor meer informatie.

Taakwebhooks gebruiken voor handmatige goedkeuring voor modelimplementatie

Databricks raadt u aan om modelimplementatie indien mogelijk te automatiseren met behulp van de juiste controles en tests tijdens het implementatieproces van het model. Als u echter handmatige goedkeuringen moet uitvoeren om productiemodellen te implementeren, kunt u taakmeldingen gebruiken om externe CI/CD-systemen aan te roepen om handmatige goedkeuring te vragen voor het implementeren van een model, nadat uw modeltrainingstaak is voltooid. Nadat handmatige goedkeuring is opgegeven, kan uw CI/CD-systeem vervolgens de modelversie implementeren om verkeer te leveren, bijvoorbeeld door de alias 'Kampioen' erop in te stellen.