Condividi tramite

Eseguire la migrazione di flussi di lavoro e modelli a Unity Catalog

Databricks consiglia di usare modelli in Unity Catalog per migliorare la governance, semplificare la condivisione tra aree di lavoro e ambienti e flussi di lavoro MLOps più flessibili. Questa pagina illustra come eseguire la migrazione dei modelli nel Registro dei modelli di area di lavoro al catalogo unity.

Introduzione ai modelli nel catalogo unity

I modelli in Unity Catalog estendono i vantaggi di Unity Catalog ai modelli di Machine Learning, tra cui il controllo centralizzato degli accessi, il controllo, la derivazione e la condivisione e l'individuazione dei modelli tra aree di lavoro. I modelli in Unity Catalog offrono anche una maggiore flessibilità nella gestione del ciclo di vita del modello.

Quando si esegue la migrazione dei modelli a Unity Catalog, alcuni passaggi del ciclo di vita del modello vengono eseguiti in modo diverso:

Passaggio 1: Creare un modello nel catalogo unity

Vedere Eseguire il training e registrare modelli compatibili con Unity Catalog.

Passaggio 2. Assegnare le autorizzazioni del catalogo Unity al modello

Unity Catalog ha un modello di autorizzazione unificato. Per informazioni su come assegnare autorizzazioni ai modelli in Unity Catalog, vedere Controllare l'accesso ai modelli.

Nella tabella seguente viene illustrata la relazione tra le autorizzazioni nel registro dei modelli dell'area di lavoro e i privilegi in Unity Catalog. Oltre ai privilegi visualizzati nella tabella, tutte le azioni richiedono anche i privilegi USE CATALOG e USE SCHEMA.

Registro dei modelli dell'area di lavoro Catalogo Unity Note
Può leggere ESEGUIRE
Può modificare CREATE MODEL VERSION + APPLICA ETICHETTA Gli utenti con questi privilegi non possono modificare la descrizione dei modelli o delle versioni del modello.
Può gestire le versioni dell'ambiente di staging APPLY TAG + attività di distribuzione In Unity Catalog i processi di distribuzione vengono usati per controllare lo spostamento delle versioni del modello attraverso le fasi del ciclo di vita. Per informazioni dettagliate, vedere Processi di distribuzione MLflow 3.
Può gestire le versioni di produzione APPLY TAG + attività di distribuzione In Unity Catalog i processi di distribuzione vengono usati per controllare lo spostamento delle versioni del modello attraverso le fasi del ciclo di vita. Per informazioni dettagliate, vedere Processi di distribuzione MLflow 3.
Può gestire AMMINISTRA

Passaggio 3. Copiare le versioni del modello

Per copiare le versioni del modello, usare copy_model_version() con il client >MLflow = 3.4.0.

import mlflow
from mlflow import MLflowClient

# Registry must be set to workspace registry
mlflow.set_registry_uri("databricks")
client = MlflowClient(registry_uri="databricks")

src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
   src_model_uri, "mycatalog.myschema.my_uc_model"
)

Se il modello di destinazione non esiste in Unity Catalog, viene creato da questa chiamata API.

I modelli nel catalogo Unity richiedono una firma. Se la versione del modello dell'area di lavoro non ha una firma, Databricks consiglia di crearne una seguendo le istruzioni nella documentazione di MLflow. Un'altra alternativa consiste nell'usare la variabile MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATIONdi ambiente . Questa variabile di ambiente è disponibile solo quando si usa copy_model_version() e richiede la versione 3.4.0 MLflow o successiva. Quando questa variabile di ambiente è impostata su "true", non è necessaria una firma.

Per uno script che è possibile usare per eseguire la migrazione di tutte le versioni di un modello nel registro dei modelli dell'area di lavoro a un modello di destinazione nel catalogo di Unity, vedere Migrare le versioni del modello dal Registro dei modelli dell'area di lavoro al Catalogo di Unity.

Passaggio 4. Eseguire la migrazione dei metadati del modello

Questa sezione descrive come eseguire il mapping dei metadati a livello di registro dell'area di lavoro al modello di Catalogo Unity e ai metadati della versione del modello, ad esempio fasi, tag e descrizioni.

Fasi

Il Registro modelli di area di lavoro ha usato il concetto di "fasi", ad esempio Staging e Production, per tenere traccia del ciclo di vita del modello. È possibile cercare o chiamare modelli per fase. Nel catalogo unity le fasi sono state sostituite da alias per chiamare un modello e da tag per l'etichettatura dei modelli.

Per una semplice migrazione delle fasi del Registro Modelli dell'Area di Lavoro, puoi usare direttamente "Production" e "Staging" o qualsiasi altro nome di alias preferito. Nel Registro modelli dell'area di lavoro più versioni del modello potrebbero trovarsi nella stessa fase e la versione più recente è stata chiamata quando si fa riferimento a una versione del modello. In Unity Catalog un alias viene assegnato a una versione univoca del modello.

Per una semplice migrazione delle etichette di fase, usare i tag per etichettare le versioni del modello come "Produzione", "Staging" o "Archiviato". È anche possibile usare qualsiasi altra etichetta. Per altre info sui tag, vedi Tag.

Nel Registro modelli dell'area di lavoro il ciclo di vita di una versione del modello è stato rilevato per fase e per una richiesta di transizione è stata richiesta l'approvazione umana. In Unity Catalog il ciclo di vita di una versione del modello viene gestito da un processo di distribuzione. Ogni attività nel processo di distribuzione corrisponde a una "fase". I processi di distribuzione consentono di personalizzare il ciclo di vita del modello e di gestire flussi di lavoro più complessi rispetto al Registro dei modelli di Workspace. I processi di distribuzione continuano a prevedere approvazioni umane. Per informazioni dettagliate, vedere Processi di distribuzione MLflow 3.

Etichette

In Unity Catalog, si creano tag sul modello o sulla versione del modello.

Pulsante per aggiungere tag nella versione del modello di Catalogo Unity dell'interfaccia utente.

Per cercare un modello per tag in Esplora cataloghi, digitare la chiave o il valore nella casella di ricerca:

Cercare i modelli in base al tag nell'interfaccia utente del modello di Catalogo Unity.

In Esplora cataloghi è possibile usare i tag solo per cercare modelli, non per le versioni del modello. Il client MLflow non supporta la ricerca di modelli in base ai tag del catalogo Unity. Il catalogo unity consente al massimo 50 tag per oggetto.

Descrizione e commenti

È possibile aggiungere descrizioni al modello e alla versione del modello. Unity Catalog offre anche l'opzione di una descrizione generata dall'intelligenza artificiale per il modello.

Aggiungere la descrizione del modello o della versione del modello nel catalogo unity.

I modelli nel catalogo Unity non hanno una posizione corrispondente per le informazioni visualizzate nella sezione Attività nella pagina della versione del modello nel Registro dei modelli dell'area di lavoro. Se sono presenti informazioni in tale sezione da trasferire con la versione del modello, copiarla nella sezione Descrizione della pagina della versione del modello in Unity Catalog.

Passaggio 5. Aggiornare tutti i carichi di lavoro e gli endpoint

Dopo aver eseguito la migrazione dei modelli e delle versioni dei modelli in Unity Catalog, aggiornare tutti i processi, i notebook e altri carichi di lavoro, inclusi gli endpoint di gestione dei modelli, per usare le versioni in Unity Catalog.

Passaggio 6. (Facoltativo) Creare un processo di distribuzione

Un processo di distribuzione viene attivato automaticamente ogni volta che viene creata una nuova versione del modello e automatizza il flusso di lavoro di valutazione, approvazione e distribuzione. Per informazioni dettagliate, vedere Processi di distribuzione MLflow 3.

È possibile impostare le notifiche per attivare gli eventi, ad esempio la creazione o l'approvazione di una versione del modello. Vedere Aggiungere notifiche in un processo.

Se sono state configurate notifiche tramite posta elettronica per gli eventi nel Registro modelli di area di lavoro, eseguirne la migrazione come indicato di seguito:

  • È stata creata una nuova versione del modello: configurare un processo di distribuzione attivato quando viene creata una nuova versione del modello e una notifica tramite posta elettronica quando viene attivato il processo.
  • Richiesta di transizione di fase: le richieste di transizione di fase corrispondono alle attività di approvazione. Impostare una notifica tramite posta elettronica per l'esito positivo o negativo dell'attività di approvazione.
  • Transizioni di fase: le transizioni di fase corrispondono alle attività di processo. Impostare una notifica tramite posta elettronica per l'esito positivo o negativo dell'attività.
  • Nuovi commenti: i commenti non sono supportati nel catalogo unity.

Se hai configurato webhook per gli eventi, puoi implementarli in Unity Catalog come trigger di processi per eventi di modello. I trigger del modello consentono di automatizzare i processi Lakeflow in base alla creazione di nuovi modelli, versioni del modello o alias di modello nel catalogo unity. I trigger del modello sono in anteprima privata. Per altre informazioni, contattare il rappresentante di Databricks.

Maggiori informazioni

Le pagine collegate di seguito descrivono come eseguire la migrazione dei flussi di lavoro (processi di training del modello e di inferenza batch) dal Registro dei modelli di area di lavoro al catalogo Unity.

  • Last updated on