Assegnazione automatica di tag in Microsoft Fabric
Synapse Data Science in Microsoft Fabric include l'assegnazione automatica, riducendo significativamente la quantità di codice necessaria per registrare automaticamente i parametri, le metriche e gli elementi di un modello di apprendimento automatico durante il training. Questo articolo descrive l'assegnazione automatica dei dati di Synapse in Microsoft Fabric.
L'assegnazione automatica estende le funzionalità di rilevamento di MLflow ed è completamente integrata nell'esperienza di data science di Synapse in Microsoft Fabric. L'assegnazione automatica può acquisire varie metriche, tra cui accuratezza, perdita, punteggio F1 e metriche personalizzate definite. Usando l'assegnazione automatica di tag, gli sviluppatori e i data scientist possono tenere traccia e confrontare facilmente le prestazioni di modelli e esperimenti diversi senza tracciare manualmente.
Framework supportati
L'assegnazione automatica supporta un'ampia gamma di framework di apprendimento automatico, tra cui TensorFlow, PyTorch, Scikit-learn e XGBoost. Per maggiori informazioni sulle proprietà specifiche del framework che acquisisce automaticamente i tag, vedere la documentazione di MLflow.
Impostazione
L'assegnazione automatica funziona acquisendo automaticamente i valori dei parametri di input, delle metriche di output e degli elementi di output di un modello di apprendimento automatico durante il training. Queste informazioni vengono registrate nell'area di lavoro di Microsoft Fabric, in cui è possibile accedervi e visualizzarla usando le API MLflow o gli elementi dell'esperimento e del modello corrispondenti nell'area di lavoro di Microsoft Fabric.
Quando si avvia un notebook di Data Science Synapse, Microsoft Fabric chiama mlflow.autolog() per abilitare immediatamente il rilevamento e caricare le dipendenze corrispondenti. Durante il training dei modelli nel notebook, MLflow tiene traccia automaticamente di queste informazioni sul modello.
La configurazione viene eseguita automaticamente in background quando si esegue import mlflow. La configurazione predefinita per l'hook mlflow.autolog() del notebook è:
mlflow.autolog(
log_input_examples=False,
log_model_signatures=True,
log_models=True,
disable=False,
exclusive=True,
disable_for_unsupported_versions=True,
silent=True
)
Personalizzazione
Per personalizzare il comportamento di registrazione, è possibile usare la configurazione mlflow.autolog(). Questa configurazione fornisce parametri per abilitare la registrazione del modello, raccogliere esempi di input, configurare avvisi o abilitare la registrazione per il contenuto aggiunto specificato.
Tenere traccia di altre metriche, parametri e proprietà
Per le esecuzioni create con MLflow, aggiornare la configurazione dell'aggiunta automatica di MLflow per tenere traccia di metriche, parametri, file e metadati aggiuntivi come indicato di seguito:
Aggiornare la chiamata mlflow.autolog() per impostare
exclusive=False.mlflow.autolog( log_input_examples=False, log_model_signatures=True, log_models=True, disable=False, exclusive=False, # Update this property to enable custom logging disable_for_unsupported_versions=True, silent=True )Usare le API di rilevamento MLflow per registrare parametri e metriche aggiuntivi. Il codice di esempio seguente consente di registrare le metriche e i parametri personalizzati insieme a proprietà aggiuntive.
import mlflow mlflow.autolog(exclusive=False) with mlflow.start_run(): mlflow.log_param("parameter name", "example value") # <add model training code here> mlflow.log_metric("metric name", 20)
Disabilitare l'assegnazione automatica dei tag di Microsoft Fabric
È possibile disabilitare l'assegnazione automatica dei tag di Microsoft Fabric per una sessione di notebook specifica. È anche possibile disabilitare l'assegnazione automatica dei tag in tutti i notebook usando l'impostazione dell'area di lavoro.
Nota
Se l'assegnazione automatica è disabilitata, è necessario registrare manualmente i parametri e le metriche usando le API MLflow.
Disabilitare l'assegnazione automatica di tag per una sessione del notebook
Per disabilitare la registrazione automatica di Microsoft Fabric per una sessione di notebook specifica, chiamare mlflow.autolog() e impostare disable=True.
import mlflow
mlflow.autolog(disable=True)
Disabilitare la registrazione automatica di tag per tutti i notebook e le sessioni
Gli amministratori dell'area di lavoro possono abilitare o disabilitare la registrazione automatica di tag di Microsoft Fabric per tutti i notebook e le sessioni nell'area di lavoro usando le impostazioni dell'area di lavoro. Per abilitare o disabilitare la registrazione automatica dei dati di Synapse:
Nell'area di lavoro per l'analisi scientifica dei dati di Synapse selezionare Impostazioni area di lavoro.
Nella schermata Impostazioni area di lavoro espandere Ingegneria dei dati/Scienza sulla barra di spostamento a sinistra e selezionare Impostazioni Spark.
Nella schermata Impostazioni Spark, selezionare la scheda Log automatico.
Impostare Rilevamento automatico di esperimenti e modelli di apprendimento automatico su Attivato o Disattivato.
Seleziona Salva.
