Organizzare le esecuzioni di training con esperimenti MLflow

Gli esperimenti sono unità di organizzazione per le esecuzioni di training del modello. Esistono due tipi di esperimenti: area di lavoro e notebook.

• È possibile creare un esperimento dell'area di lavoro dall'interfaccia utente di Databricks Machine Learning o dall'API MLflow. Gli esperimenti dell'area di lavoro non sono associati ad alcun notebook e qualsiasi notebook può registrare un'esecuzione a questi esperimenti usando l'ID esperimento o il nome dell'esperimento.
• Un esperimento di notebook è associato a un notebook specifico. Azure Databricks crea automaticamente un esperimento di notebook se non è presente alcun esperimento attivo quando si avvia un'esecuzione usando mlflow.start_run().

Per visualizzare tutti gli esperimenti in un'area di lavoro a cui si ha accesso, selezionare Esperimenti di Machine Learning > nella barra laterale.

Creare un esperimento dell'area di lavoro

Questa sezione descrive come creare un esperimento dell'area di lavoro usando l'interfaccia utente di Azure Databricks. È possibile creare un esperimento dell'area di lavoro direttamente dall'area di lavoro o dalla pagina Esperimenti.

È anche possibile usare l'API MLflow o il provider Databricks Terraform con databricks_mlflow_experiment.

Per istruzioni sulla registrazione delle esecuzioni agli esperimenti dell'area di lavoro, vedere Notebook di esempio di registrazione.

1. Fare clic su Area di lavoro nella barra laterale.

2. Passare alla cartella in cui si vuole creare l'esperimento.

3. Fare clic con il pulsante destro del mouse sulla cartella e selezionare Crea > esperimento MLflow.

4. Nella finestra di dialogo Crea esperimento MLflow immettere un nome per l'esperimento e un percorso di artefatto facoltativo. Se non si specifica una posizione dell'artefatto, gli artefatti vengono archiviati in dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Azure Databricks supporta i percorsi degli artefatti di archiviazione BLOB di Azure e DBFS .

   Per archiviare gli artefatti nell'archivio BLOB di Azure, specificare un URI del formato wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Gli artefatti archiviati nell'archivio BLOB di Azure non vengono visualizzati nell'interfaccia utente di MLflow; è necessario scaricarli usando un client di archiviazione BLOB.

   Nota

   Quando si archivia un elemento in una posizione diversa da DBFS, l'artefatto non viene visualizzato nell'interfaccia utente di MLflow. I modelli archiviati in posizioni diverse da DBFS non possono essere registrati nel Registro modelli.

5. Cliccare su Crea. Viene visualizzato un esperimento vuoto.

È anche possibile creare un nuovo esperimento dell'area di lavoro dalla pagina Esperimenti. Per creare un nuovo esperimento, usare il menu a discesa. Dal menu a discesa è possibile selezionare un esperimento AutoML o un esperimento vuoto (vuoto).

• Esperimento AutoML. Viene visualizzata la pagina Configura esperimento AutoML. Per informazioni sull'uso di AutoML, vedere Eseguire il training di modelli di Machine Learning con l'interfaccia utente di Azure Databricks AutoML.

• Esperimento vuoto. Viene visualizzata la finestra di dialogo Crea esperimento MLflow. Immettere un nome e un percorso facoltativo dell'artefatto nella finestra di dialogo per creare un nuovo esperimento dell'area di lavoro. Il percorso predefinito dell'artefatto è dbfs:/databricks/mlflow-tracking/<experiment-id>.

  Per registrare le esecuzioni a questo esperimento, chiamare mlflow.set_experiment() con il percorso dell'esperimento. Il percorso dell'esperimento viene visualizzato nella parte superiore della pagina dell'esperimento. Per informazioni dettagliate e un notebook di esempio, vedere Notebook di esempio di registrazione.

Creare un esperimento di notebook

Quando si usa il comando mlflow.start_run() in un notebook, eseguire registra metriche e parametri per l'esperimento attivo. Se non è attivo alcun esperimento, Azure Databricks crea un esperimento di notebook. Un esperimento di notebook condivide lo stesso nome e ID del notebook corrispondente. L'ID del notebook è l'identificatore numerico alla fine di un URL e un ID del notebook.

In alternativa, è possibile passare un percorso dell'area di lavoro di Azure Databricks a un notebook esistente in mlflow.set_experiment() per creare un esperimento di notebook.

Per istruzioni sulla registrazione delle esecuzioni agli esperimenti del notebook, vedere Notebook di esempio di registrazione.

Nota

Se si elimina un esperimento di notebook usando l'API (ad esempio, MlflowClient.tracking.delete_experiment() in Python), il notebook stesso viene spostato nella cartella Cestino.

Visualizzare gli esperimenti

Ogni esperimento a cui si ha accesso viene visualizzato nella pagina esperimenti. Da questa pagina è possibile visualizzare qualsiasi esperimento. Fare clic sul nome di un esperimento per visualizzare la pagina dell'esperimento.

Altri modi per accedere alla pagina dell'esperimento:

• È possibile accedere alla pagina dell'esperimento per un esperimento dell'area di lavoro dal menu dell'area di lavoro.
• È possibile accedere alla pagina dell'esperimento per un esperimento di notebook dal notebook.

Per cercare esperimenti, digitare testo nel campo Filtra esperimenti e premere INVIO o fare clic sull'icona della lente di ingrandimento. L'elenco di esperimenti cambia per visualizzare solo gli esperimenti che contengono il testo di ricerca nella colonna Nome, Creato da, Posizione o Descrizione .

Fare clic sul nome di qualsiasi esperimento nella tabella per visualizzarne la pagina dell'esperimento:

La pagina dell'esperimento elenca tutte le esecuzioni associate all'esperimento. Dalla tabella è possibile aprire la pagina di esecuzione per qualsiasi esecuzione associata all'esperimento facendo clic sul relativo nome di esecuzione. La colonna Origine consente di accedere alla versione del notebook che ha creato l'esecuzione. È anche possibile cercare e filtrare le esecuzioni in base alle metriche o alle impostazioni dei parametri.

Visualizzare l'esperimento dell'area di lavoro

1. Fare clic su Area di lavoro nella barra laterale.
2. Passare alla cartella contenente l'esperimento.
3. Fare clic sul nome dell'esperimento.

Visualizzare l'esperimento del notebook

Nella barra laterale destra del notebook fare clic sull'icona Esperimento .

Viene visualizzata la barra laterale Experiment Runs (Esecuzioni di esperimenti) e viene visualizzato un riepilogo di ogni esecuzione associata all'esperimento del notebook, inclusi i parametri di esecuzione e le metriche. Nella parte superiore della barra laterale è il nome dell'esperimento in cui il notebook ha eseguito l'ultima registrazione (un esperimento del notebook o un esperimento dell'area di lavoro).

Dalla barra laterale è possibile passare alla pagina dell'esperimento o direttamente a un'esecuzione.

• Per visualizzare l'esperimento, fare clic all'estrema destra accanto a Esecuzioni di esperimenti.
• Per visualizzare un'esecuzione, fare clic sul nome dell'esecuzione.

Gestire esperimenti

È possibile rinominare, eliminare o gestire le autorizzazioni per un esperimento di cui si è proprietari dalla pagina degli esperimenti, dalla pagina dell'esperimento o dal menu dell'area di lavoro.

Nota

Non è possibile rinominare, eliminare o gestire direttamente le autorizzazioni per un esperimento MLflow creato da un notebook in una cartella Git di Databricks. È necessario eseguire queste azioni a livello di cartella Git.

Rinominare l'esperimento dalla pagina esperimenti o dalla pagina dell'esperimento

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Per rinominare un esperimento dalla pagina esperimenti o dalla pagina dell'esperimento, fare clic su e selezionare Rinomina.

Rinominare l'esperimento dal menu dell'area di lavoro

1. Fare clic su Area di lavoro nella barra laterale.
2. Passare alla cartella contenente l'esperimento.
3. Fare clic con il pulsante destro del mouse sul nome dell'esperimento e scegliere Rinomina.

Copiare il nome dell'esperimento

Per copiare il nome dell'esperimento, fare clic nella parte superiore della pagina dell'esperimento. È possibile usare questo nome nel comando set_experiment MLflow per impostare l'esperimento MLflow attivo.

È anche possibile copiare il nome dell'esperimento dalla barra laterale dell'esperimento in un notebook.

Eliminare l'esperimento del notebook

Gli esperimenti del notebook fanno parte del notebook e non possono essere eliminati separatamente. Quando si elimina un notebook, l'esperimento del notebook associato viene eliminato. Quando si elimina un esperimento di notebook usando l'interfaccia utente, viene eliminato anche il notebook.

Per eliminare gli esperimenti del notebook usando l'API, usare l'API workspace per assicurarsi che il notebook e l'esperimento vengano eliminati dall'area di lavoro.

Eliminare l'esperimento dell'area di lavoro dal menu dell'area di lavoro

1. Fare clic su Area di lavoro nella barra laterale.
2. Passare alla cartella contenente l'esperimento.
3. Fare clic con il pulsante destro del mouse sul nome dell'esperimento e scegliere Sposta nel Cestino.

Eliminare l'esperimento dell'area di lavoro o del notebook dalla pagina degli esperimenti o dalla pagina dell'esperimento

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Per eliminare un esperimento dalla pagina esperimenti o dalla pagina dell'esperimento, fare clic su e selezionare Elimina.

Quando si elimina un esperimento di notebook, viene eliminato anche il notebook.

Modificare le autorizzazioni per l'esperimento

Per modificare le autorizzazioni per un esperimento dalla pagina dell'esperimento, fare clic su Condividi.

È possibile modificare le autorizzazioni per un esperimento di cui si è proprietari dalla pagina degli esperimenti. Fare clic nella colonna Azioni e selezionare Autorizzazione.

Per informazioni sui livelli di autorizzazione dell'esperimento, vedere ACL dell'esperimento MLflow.

Copiare esperimenti tra aree di lavoro

Per eseguire la migrazione di esperimenti MLflow tra aree di lavoro, è possibile usare il progetto open source basato sulla community MLflow Export-Import.

Con questi strumenti è possibile:

• Condividere e collaborare con altri data scientist nello stesso server di rilevamento o in un altro server di rilevamento. Ad esempio, è possibile clonare un esperimento da un altro utente nell'area di lavoro.
• Copiare gli esperimenti MLflow ed eseguirli dal server di rilevamento locale all'area di lavoro di Databricks.
• Eseguire il backup di esperimenti e modelli cruciali in un'altra area di lavoro di Databricks.