Automatisk loggning i Microsoft Fabric

Synapse-Datavetenskap i Microsoft Fabric inkluderar automatisk loggning, vilket avsevärt minskar mängden kod som krävs för att automatiskt logga parametrar, mått och objekt i en maskininlärningsmodell under träningen. Den här funktionen utökar MLflow-autologgningsfunktionerna och är djupt integrerad i Synapse-Datavetenskap i Microsoft Fabric-upplevelsen. Med automatisk loggning kan utvecklare och dataforskare enkelt spåra och jämföra prestanda för olika modeller och experiment utan att behöva manuell spårning.

-konfigurationer

Automatisk loggning fungerar genom att automatiskt samla in värdena för indataparametrar, utdatamått och utdataobjekt i en maskininlärningsmodell när den tränas. Den här informationen loggas sedan till din Microsoft Fabric-arbetsyta, där den kan nås och visualiseras med hjälp av MLflow-API:er eller motsvarande experiment- och modellobjekt på din Microsoft Fabric-arbetsyta.

Standardkonfigurationen för notebook-hooken mlflow.autolog() är:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

När du startar en Synapse-Datavetenskap notebook-fil anropar Microsoft Fabric mlflow.autolog() för att omedelbart aktivera spårningen och läsa in motsvarande beroenden. När du tränar modeller i notebook-filen spåras den här modellinformationen automatiskt med MLflow. Den här konfigurationen görs automatiskt i bakgrunden när du kör import mlflow.

Ramverk som stöds

Automatisk loggning stöder en mängd olika ramverk för maskininlärning, inklusive TensorFlow, PyTorch, Scikit-learn och XGBoost. Den kan samla in en mängd olika mått, inklusive noggrannhet, förlust och F1-poäng, samt anpassade mått som definierats av användaren. Om du vill veta mer om de ramverksspecifika egenskaper som samlas in kan du gå till MLflow-dokumentationen.

Anpassa loggningsbeteende

Om du vill anpassa loggningsbeteendet kan du använda konfigurationen mlflow.autolog(). Den här konfigurationen innehåller parametrarna för att aktivera modellloggning, samla in indataexempel, konfigurera varningar eller till och med aktivera loggning för användardefininerad innehåll.

Spåra ytterligare innehåll

Du kan uppdatera konfigurationen för automatisk loggning för att spåra ytterligare mått, parametrar, filer och metadata med körningar som skapats med MLflow.

Så här gör du:

1. Uppdatera anropet mlflow.autolog() och ange exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Använd API:erna för MLflow-spårning för att logga ytterligare parametrar och mått. På så sätt kan du samla in dina anpassade mått och parametrar, samtidigt som du kan använda automatisk loggning för att samla in ytterligare egenskaper.

   Till exempel:

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Inaktivera automatisk loggning av Microsoft Fabric

Automatisk loggning av Microsoft Fabric kan inaktiveras för en specifik notebook-session eller för alla notebook-filer med hjälp av arbetsyteinställningen.

Kommentar

Om automatisk loggning är inaktiverad måste användarna manuellt logga sina egna parametrar och mått med hjälp av MLflow-API:erna.

Inaktivera automatisk loggning för en notebook-session

Om du vill inaktivera automatisk loggning av Microsoft Fabric i en notebook-session kan du anropa mlflow.autolog() och ange disable=True.

Till exempel:

import mlflow
mlflow.autolog(disable=True)

Inaktivera automatisk loggning för arbetsytan

Arbetsyteadministratörer kan aktivera eller inaktivera automatisk loggning av Microsoft Fabric för alla sessioner på arbetsytan.

Så här gör du:

1. Gå till din Synapse-Datavetenskap arbetsyta och välj Arbetsyta Inställningar.

   

2. På fliken Datateknik/vetenskap väljer du Spark-beräkning. Här hittar du inställningen för att aktivera eller inaktivera Synapse Datavetenskap automatisk loggning.

   

Relaterat innehåll

• Träna en Spark MLlib-modell med automatisk loggning: Träna med Spark MLlib
• Lär dig mer om maskininlärningsexperiment i Microsoft Fabric: Experiment