Automatisk loggning i Microsoft Fabric

Artikel
05/23/2023

Synapse-Datavetenskap i Microsoft Fabric innehåller automatisk loggning, vilket avsevärt minskar mängden kod som krävs för att automatiskt logga parametrar, mått och objekt i en maskininlärningsmodell under träning. Den här funktionen utökar funktionerna för automatisk loggning av MLflow och är djupt integrerad i Synapse-Datavetenskap i Microsoft Fabric-upplevelsen. Med automatisk loggning kan utvecklare och dataexperter enkelt spåra och jämföra prestanda för olika modeller och experiment utan att behöva manuell spårning.

Viktigt

Microsoft Fabric är för närvarande i förhandsversion. Den här informationen gäller en förhandsversionsprodukt som kan ändras avsevärt innan den släpps. Microsoft lämnar inga garantier, uttryckta eller underförstådda, med avseende på den information som tillhandahålls här.

Konfigurationer

Automatisk loggning fungerar genom att automatiskt samla in värdena för indataparametrar, utdatamått och utdataobjekt i en maskininlärningsmodell när den tränas. Den här informationen loggas sedan till din Microsoft Fabric-arbetsyta, där den kan nås och visualiseras med hjälp av MLflow-API:erna eller motsvarande experimentmodellobjekt & på din Microsoft Fabric-arbetsyta.

Standardkonfigurationen för notebook-datorn mlflow.autolog() är:


mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

När du startar en Synapse-Datavetenskap notebook-fil anropar Microsoft Fabric mlflow.autolog() för att omedelbart aktivera spårningen och läsa in motsvarande beroenden. När du tränar modeller i anteckningsboken spåras den här modellinformationen automatiskt med MLflow. Den här konfigurationen görs automatiskt i bakgrunden när du kör import mlflow.

Ramverk som stöds

Automatisk loggning stöder en mängd olika ramverk för maskininlärning, inklusive TensorFlow, PyTorch, Scikit-learn och XGBoost. Den kan samla in en mängd olika mått, inklusive noggrannhet, förlust och F1-poäng, samt anpassade mått som definierats av användaren. Om du vill veta mer om de ramverksspecifika egenskaper som samlas in kan du gå till MLflow-dokumentationen.

Anpassa loggningsbeteende

Om du vill anpassa loggningsbeteendet kan du använda konfigurationen mlflow.autolog(). Den här konfigurationen tillhandahåller parametrarna för att aktivera modellloggning, samla in indataexempel, konfigurera varningar eller till och med aktivera loggning för användardefininerad innehåll.

Spåra ytterligare innehåll

Du kan uppdatera konfigurationen för automatisk loggning för att spåra ytterligare mått, parametrar, filer och metadata med körningar som skapats med MLflow.

Gör så här:

Uppdatera anropet mlflow.autolog() och ange exclusive=False.

    mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=False, # Update this property to enable custom logging
    disable_for_unsupported_versions=True,
    silent=True
)

Använd API:erna för MLflow-spårning för att logga ytterligare parametrar och mått. På så sätt kan du samla in dina anpassade mått och parametrar, samtidigt som du kan använda automatisk loggning för att samla in ytterligare egenskaper.

Till exempel:
```
import mlflow
mlflow.autolog(exclusive=False)

with mlflow.start_run():
  mlflow.log_param("parameter name", "example value")
  # <add model training code here>
  mlflow.log_metric("metric name", 20)
```

Inaktivera automatisk loggning av Microsoft Fabric

Automatisk loggning av Microsoft Fabric kan inaktiveras för en specifik notebook-session eller i alla notebook-filer med hjälp av arbetsyteinställningen.

Anteckning

Om automatisk loggning är inaktiverat måste användarna logga sina egna parametrar och mått manuellt med hjälp av MLflow-API:erna.

Inaktivera automatisk loggning för en notebook-session

Om du vill inaktivera automatisk loggning av Microsoft Fabric i en notebook-session kan du anropa mlflow.autolog() och ange disable=True.

Exempel:

import mlflow
mlflow.autolog(disable=True)

Inaktivera automatisk loggning för arbetsytan

Arbetsyteadministratörer kan aktivera eller inaktivera automatisk loggning av Microsoft Fabric för alla sessioner på arbetsytan.