Assegnazione automatica di tag in Microsoft Fabric

Synapse Data Science in Microsoft Fabric include l'assegnazione automatica, riducendo significativamente la quantità di codice necessaria per registrare automaticamente i parametri, le metriche e gli elementi di un modello di Machine Learning durante il training. Questo articolo descrive l'assegnazione automatica dei dati di Synapse in Microsoft Fabric.

L'assegnazione automatica estende le funzionalità di rilevamento di MLflow ed è completamente integrata nell'esperienza di data science di Synapse in Microsoft Fabric. L'assegnazione automatica può acquisire varie metriche, tra cui accuratezza, perdita, punteggio F1 e metriche personalizzate definite. Usando l'assegnazione automatica di tag, gli sviluppatori e i data scientist possono tenere traccia e confrontare facilmente le prestazioni di modelli e esperimenti diversi senza tracciare manualmente.

Framework supportati

L'assegnazione automatica supporta un'ampia gamma di framework di Machine Learning, tra cui TensorFlow, PyTorch, Scikit-learn e XGBoost. Per altre informazioni sulle proprietà specifiche del framework che acquisisce automaticamente i tag, vedere la documentazione di MLflow.

Impostazione

L'assegnazione automatica funziona acquisendo automaticamente i valori dei parametri di input, delle metriche di output e degli elementi di output di un modello di Machine Learning durante il training. Queste informazioni vengono registrate nell'area di lavoro di Microsoft Fabric, in cui è possibile accedervi e visualizzarla usando le API MLflow o gli elementi dell'esperimento e del modello corrispondenti nell'area di lavoro di Microsoft Fabric.

Quando si avvia un notebook di data science synapse, Microsoft Fabric chiama mlflow.autolog() per abilitare immediatamente il rilevamento e caricare le dipendenze corrispondenti. Durante il training dei modelli nel notebook, MLflow tiene traccia automaticamente di queste informazioni sul modello.

La configurazione viene eseguita automaticamente in background quando si esegue import mlflow. La configurazione predefinita per l'hook mlflow.autolog() del notebook è:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Personalizzazione

Per personalizzare il comportamento di registrazione, è possibile usare la configurazione mlflow.autolog(). Questa configurazione fornisce parametri per abilitare la registrazione del modello, raccogliere esempi di input, configurare avvisi o abilitare la registrazione per il contenuto aggiunto specificato.

Tenere traccia di altre metriche, parametri e proprietà

Per le esecuzioni create con MLflow, aggiornare la configurazione dell'aggiunta automatica di MLflow per tenere traccia di metriche, parametri, file e metadati aggiuntivi come indicato di seguito:

1. Aggiornare la chiamata mlflow.autolog() per impostare exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Usare le API di rilevamento MLflow per registrare parametri e metriche aggiuntivi. Il codice di esempio seguente consente di registrare le metriche e i parametri personalizzati insieme a proprietà aggiuntive.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Disabilitare l'assegnazione automatica dei tag di Microsoft Fabric

È possibile disabilitare l'assegnazione automatica dei tag di Microsoft Fabric per una sessione di notebook specifica. È anche possibile disabilitare l'assegnazione automatica dei tag in tutti i notebook usando l'impostazione dell'area di lavoro.

Nota

Se l'assegnazione automatica è disabilitata, è necessario registrare manualmente i parametri e le metriche usando le API MLflow.

Disabilitare l'assegnazione automatica di tag per una sessione del notebook

Per disabilitare l'assegnazione automatica dell'assegnazione automatica di Microsoft Fabric per una sessione di notebook specifica, chiamare mlflow.autolog() e impostare disable=True.

import mlflow
mlflow.autolog(disable=True)

Disabilitare l'assegnazione automatica di tag per tutti i notebook e le sessioni

Gli amministratori dell'area di lavoro possono abilitare o disabilitare l'assegnazione automatica di tag di Microsoft Fabric per tutti i notebook e le sessioni nell'area di lavoro usando le impostazioni dell'area di lavoro. Per abilitare o disabilitare l'assegnazione automatica dei dati di Synapse:

1. Nell'area di lavoro per l'analisi scientifica dei dati di Synapse selezionare Impostazioni area di lavoro.

   

2. Nella schermata Impostazioni area di lavoro espandere Ingegneria dei dati/Scienza sulla barra di spostamento a sinistra e selezionare Impostazioni Spark.

3. Nella schermata Impostazioni Spark selezionare la scheda Log automatico.

4. Impostare Rilevamento automatico di esperimenti e modelli di Machine Learning su Attivato o Disattivato.

5. Seleziona Salva.

   

Contenuto correlato

• Creare un modello di Machine Learning con Apache Spark MLlib
• Esperimenti di Machine Learning in Microsoft Fabric