Organizzare le esecuzioni di training con esperimenti MLflow

Gli esperimenti sono unità di organizzazione per le esecuzioni di training del modello. Esistono due tipi di esperimenti: area di lavoro e notebook.

• È possibile creare un esperimento dell'area di lavoro dall'interfaccia utente di Databricks Mosaic AI o dall'API MLflow. Gli esperimenti dell'area di lavoro non sono associati ad alcun notebook e qualsiasi notebook può registrare un'esecuzione a questi esperimenti usando l'ID esperimento o il nome dell'esperimento.
• Un esperimento di notebook è associato a un notebook specifico. Azure Databricks crea automaticamente un esperimento di notebook se non è presente alcun esperimento attivo quando si avvia un'esecuzione usando mlflow.start_run().

Per visualizzare tutti gli esperimenti in un'area di lavoro a cui si ha accesso, selezionare Machine Learning > Esperimenti nella barra laterale.

Creare un esperimento dell'area di lavoro

Questa sezione descrive come creare un esperimento dell'area di lavoro usando l'interfaccia utente di Azure Databricks. È possibile creare un esperimento dell'area di lavoro direttamente dall'area di lavoro o dalla pagina Esperimenti.

È anche possibile usare l'API MLflow o il provider Databricks Terraform con databricks_mlflow_experiment.

Per istruzioni sulla registrazione delle esecuzioni in esperimenti dell'area di lavoro, vedere Notebook di esempio di registrazione.

1. Cliccare Area di lavoro nella barra laterale.

2. Passare alla cartella in cui si vuole creare l'esperimento.

3. Fare clic con il pulsante destro del mouse sulla cartella e selezionare Crea > esperimento MLflow.

4. Nella finestra di dialogo Crea esperimento MLflow immettere un nome per l'esperimento e un percorso di artefatto facoltativo. Se non si specifica una posizione dell'artefatto, gli artefatti vengono archiviati nell'archiviazione degli artefatti gestiti da MLflow: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Azure Databricks supporta volumi del catalogo Unity, archiviazione BLOB di Azure e percorsi degli artefatti di Azure Data Lake Storage.

   In MLflow 2.15.0 e versioni successive è possibile archiviare gli artefatti in un volume del catalogo Unity. Quando si crea un esperimento MLflow, specificare un percorso dei volumi del modulo dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path come percorso dell'artefatto dell'esperimento MLflow.

   Per archiviare gli artefatti nell'archiviazione BLOB di Azure, specificare un URI che abbia il formato wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Gli artefatti archiviati nell'archiviazione BLOB di Azure non vengono visualizzati nell'interfaccia utente di MLflow; è necessario scaricarli usando un client di archiviazione BLOB.

   Nota

   Quando si archivia un elemento in una posizione diversa da DBFS, l'artefatto non viene visualizzato nell'interfaccia utente di MLflow. I modelli archiviati in posizioni diverse da DBFS non possono essere registrati nel Registro modelli.

5. Cliccare Crea. Viene visualizzato un esperimento vuoto.

È anche possibile creare un nuovo esperimento dell'area di lavoro dalla pagina Esperimenti. Per creare un nuovo esperimento, usare il menu a discesa . Dal menu a discesa è possibile selezionare un esperimento AutoML o un esperimento vuoto.

• Esperimento AutoML. Viene visualizzata la pagina Configura esperimento AutoML. Per informazioni sull'uso di AutoML, vedere Eseguire il training di modelli di Machine Learning con l'interfaccia utente di Mosaic AutoML.

• Blank Experiment. Viene visualizzata la finestra di dialogo Crea esperimento MLflow. Immettere un nome e un percorso facoltativo dell'artefatto nella finestra di dialogo per creare un nuovo esperimento dell'area di lavoro. Il percorso predefinito dell'artefatto è dbfs:/databricks/mlflow-tracking/<experiment-id>.

  Per registrare le esecuzioni a questo esperimento, richiamare mlflow.set_experiment() con il percorso dell'esperimento. Il percorso dell'esperimento viene visualizzato nella parte superiore della pagina dell'esperimento. Per i dettagli e un notebook di esempio, vedere Registrazione del notebook di esempio.

Creare un esperimento di notebook

Quando si usa il comando mlflow.start_run() in un notebook, l'esecuzione registra metriche e parametri per l'esperimento attivo. Se non è attivo alcun esperimento, Azure Databricks crea un esperimento di notebook. Un esperimento di notebook condivide lo stesso nome e ID del notebook corrispondente. L'ID del notebook è l'identificatore numerico che si trova alla fine di un URL e ID del notebook.

In alternativa, è possibile passare un percorso dell'area di lavoro di Azure Databricks a un notebook esistente in mlflow.set_experiment() per creare un esperimento di notebook.

Per istruzioni sulla registrazione delle esecuzioni agli esperimenti del notebook, vedere Notebook di esempio di registrazione.

Nota

Se si elimina un esperimento di notebook usando l'API (ad esempio, MlflowClient.tracking.delete_experiment() in Python), il notebook stesso viene spostato nella cartella Cestino.

Visualizzare gli esperimenti

Ogni esperimento a cui si ha accesso viene visualizzato nella pagina degli esperimenti. Da questa pagina è possibile visualizzare qualsiasi esperimento. Cliccare il nome di un esperimento per visualizzare la pagina dell'esperimento.

Altri modi per accedere alla pagina dell'esperimento:

• È possibile accedere alla pagina dell'esperimento per un esperimento dell'area di lavoro dal menu dell'area di lavoro.
• È possibile accedere alla pagina dell'esperimento per un esperimento di notebook dal notebook.

Per cercare esperimenti, digitare il testo nel campo Filtra esperimenti e premere Invio o cliccare l'icona della lente di ingrandimento. L'elenco di esperimenti cambia per mostrare solo gli esperimenti che contengono il testo di ricerca nella colonna Nome, Creato da, Posizione o Descrizione.

Nella tabella, cliccare il nome dell'esperimento per visualizzare la pagina dell'esperimento:

La pagina dell'esperimento elenca tutte le esecuzioni associate all'esperimento. Dalla tabella è possibile aprire la pagina di esecuzione per qualsiasi esecuzione associata all'esperimento facendo clic sul relativo Nome esecuzione. La colonna Origine consente di accedere alla versione del notebook che ha creato l'esecuzione. È anche possibile cercare e filtrare le esecuzioni in base alle metriche o alle impostazioni dei parametri.

Visualizzare l'esperimento dell'area di lavoro

1. Cliccare Area di lavoro nella barra laterale.
2. Passare alla cartella che contiene l'esperimento.
3. Cliccare il nome dell'esperimento.

Visualizzare l'esperimento del notebook

Nella barra laterale destra del notebook, cliccare l'icona Esperimento.

Viene visualizzata la barra laterale Esecuzioni di esperimenti e viene visualizzato un riepilogo di ogni esecuzione associata all'esperimento del notebook, inclusi i parametri di esecuzione e le metriche. Nella parte superiore della barra laterale è riportato il nome dell'esperimento in cui il notebook ha eseguito l'ultima registrazione (un esperimento del notebook o un esperimento dell'area di lavoro).

Dalla barra laterale è possibile passare alla pagina dell'esperimento o direttamente a un'esecuzione.

• Per visualizzare l'esperimento, cliccare all'estrema destra accanto a Esecuzioni di esperimenti.
• Per visualizzare un'esecuzione, cliccare il nome dell'esecuzione.

Gestire esperimenti

È possibile rinominare, eliminare o gestire le autorizzazioni per un esperimento di cui si è proprietari dalla pagina degli esperimenti, dalla pagina dell'esperimento o dal menu dell'area di lavoro.

Nota

Non è possibile rinominare, eliminare o gestire direttamente le autorizzazioni per un esperimento MLflow creato da un notebook in una cartella Git di Databricks. È necessario eseguire queste azioni a livello di cartella Git.

Rinominare l'esperimento dalla pagina esperimenti o dalla pagina dell'esperimento

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Per rinominare un esperimento dalla pagina esperimenti o dalla pagina dell'esperimento, cliccare e selezionare Rinomina.

Rinominare l'esperimento dal menu dell'area di lavoro

1. Cliccare Area di lavoro nella barra laterale.
2. Passare alla cartella che contiene l'esperimento.
3. Fare clic con il pulsante destro del mouse sul nome dell'esperimento e scegliere Rinomina.

Copiare il nome dell'esperimento

Per copiare il nome dell'esperimento, cliccare nella parte superiore della pagina dell'esperimento. È possibile usare questo nome nel comando set_experiment di MLflow per impostare l'esperimento MLflow attivo.

È anche possibile copiare il nome dell'esperimento dalla barra laterale dell'esperimento in un notebook.

Eliminare l'esperimento del notebook

Gli esperimenti del notebook fanno parte del notebook e non possono essere eliminati separatamente. Quando si elimina un notebook, l'esperimento notebook associato viene eliminato. Quando si elimina un esperimento notebook tramite l'interfaccia utente, viene eliminato anche il notebook.

Per eliminare gli esperimenti del notebook mediante API, utilizzare API Area di lavoro per assicurarsi che il notebook e l'esperimento vengano eliminati dall'area di lavoro.

Eliminare l'esperimento dell'area di lavoro dal menu dell'area di lavoro

1. Cliccare Area di lavoro nella barra laterale.
2. Passare alla cartella che contiene l'esperimento.
3. Fare clic con il pulsante destro del mouse sul nome dell'esperimento e scegliere Sposta nel Cestino.

Eliminare l'esperimento dell'area di lavoro o del notebook eliminato dalla pagina esperimenti o dalla pagina dell'esperimento

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Per eliminare un esperimento dalla pagina esperimenti o dalla pagina dell'esperimento, cliccare e selezionare Elimina.

Quando si elimina un esperimento notebook, viene eliminato anche il notebook.

Modificare le autorizzazioni per l'esperimento

Per modificare le autorizzazioni per un esperimento dalla pagina dell'esperimento, cliccare Condividi.

È possibile modificare le autorizzazioni per un esperimento di cui si è proprietari dalla pagina degli esperimenti. Cliccare nella colonna Azioni e selezionare Autorizzazione.

Per informazioni sui livelli di autorizzazione del modello, vedere ACL dell'esperimento MLflow.

Copiare esperimenti tra aree di lavoro

Per eseguire la migrazione di esperimenti MLflow tra aree di lavoro, è possibile usare il progetto open source basato su community MLflow Export-Import.

Con questi strumenti è possibile:

• Condividere e collaborare con altri data scientist nello stesso server di rilevamento o in un altro server di rilevamento. Ad esempio, nell'area di lavoro è possibile clonare un esperimento da un altro utente.
• Copiare gli esperimenti MLflow ed eseguirli dal server di rilevamento locale nell'area di lavoro di Databricks.
• Eseguire il backup di esperimenti e modelli cruciali in un'altra area di lavoro di Databricks.