Automatische logregistratie in Data Science

Dit artikel beschrijft autologging in Data Science.

Door automatische logboekregistratie te gebruiken, hebt u aanzienlijk minder code nodig om de parameters, metrische gegevens en items van een machine learning-model automatisch te registreren tijdens de training.

Autologging breidt de MLflow-trackingmogelijkheden uit en is diep geïntegreerd in de Data Science-werklast.

Autologging kan metrische gegevens vastleggen, waaronder nauwkeurigheid, verlies, F1-score en aangepaste metrische gegevens die u definieert. Door autologging te gebruiken, kunnen ontwikkelaars en gegevenswetenschappers eenvoudig de prestaties van verschillende modellen en experimenten bijhouden en vergelijken zonder handmatig bij te houden.

Ondersteunde frameworks

Autologging ondersteunt een breed scala aan machine learning-frameworks, waaronder TensorFlow, PyTorch, scikit-learn en XGBoost. Voor meer informatie over de frameworkspecifieke eigenschappen die automatisch worden vastgelegd, raadpleeg de MLflow-documentatie.

Notitie

Met ondersteuning voor MLflow 3 in Fabric legt autologging standaard ook GenAI-traceringen vast (log_traces=True). Zie MLflow 3 in Fabric Data Science voor meer informatie over LoggedModel en Traces.

Configuratie

Autologging werkt tijdens de training om automatisch de waarden vast te leggen van de invoerparameters, metrische uitvoergegevens en uitvoeritems van een machine learning-model. Deze informatie wordt vastgelegd in uw Microsoft Fabric werkruimte, waar u deze kunt openen en visualiseren met behulp van de MLflow-API's of het bijbehorende experiment en modelitems in uw Microsoft Fabric werkruimte.

Wanneer je een Data Science-notebook opent, roept Microsoft Fabric mlflow.autolog() aan om onmiddellijk tracering in te schakelen en de bijbehorende afhankelijkheden te laden. Terwijl u modellen traint in uw notebook, houdt MLflow automatisch modelgegevens bij.

De configuratie wordt automatisch uitgevoerd wanneer u import mlflow uitvoert. De standaardconfiguratie voor de notebook mlflow.autolog() hook is:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    log_datasets=True,
    log_traces=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True,
    extra_tags=None,
    exclude_flavors=None
)

Aanpassing

Gebruik de mlflow.autolog() configuratie om het gedrag van logboekregistratie aan te passen. Deze configuratie biedt parameters voor het inschakelen van modelregistratie, het verzamelen van invoervoorbeelden, het configureren van waarschuwingen of het inschakelen van logboekregistratie voor toegevoegde inhoud die u opgeeft.

Meer metrische gegevens, parameters en eigenschappen bijhouden

Voor uitvoeringen die u maakt met behulp van MLflow, werkt u de configuratie voor automatische aanmelding van MLflow bij om extra metrische gegevens, parameters, bestanden en metagegevens bij te houden:

1. Werk de mlflow.autolog() aanroep bij naar exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       log_datasets=True,
       log_traces=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True,
       extra_tags=None,
       exclude_flavors=None
   )
   

2. Gebruik de MLflow-tracerings-API's om extra parameters en metrische gegevens te registreren. In de volgende voorbeeldcode ziet u hoe u uw aangepaste metrische gegevens en parameters naast extra eigenschappen kunt registreren.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
   mlflow.log_param("parameter name", "example value")
   # <add model training code here>
   mlflow.log_metric("metric name", 20)
   

Automatische aanmelding van Microsoft Fabric uitschakelen

U kunt het automatisch aanmelden van Microsoft Fabric voor een specifieke notebooksessie uitschakelen. U kunt automatische logboeken ook uitschakelen voor alle notitieblokken met behulp van de werkruimte-instelling.

Notitie

Als automatisch registreren is uitgeschakeld, moet u uw parameters en metrische gegevens handmatig registreren met behulp van de MLflow-API's.

Automatisch afmelden uitschakelen voor een notebooksessie

Als u Microsoft Fabric autologging voor een specifieke notitiebloksessie wilt uitschakelen, roept u mlflow.autolog() aan en configureert u disable=True.

import mlflow
mlflow.autolog(disable=True)

Autologging uitschakelen voor alle notitieblokken en sessies

Werkruimtebeheerders kunnen via de werkruimte-instellingen het autologgen van Microsoft Fabric voor alle notitieblokken en sessies in hun werkruimte in- of uitschakelen.

Om Data Science autologging in of uit te schakelen:

1. In uw werkruimte selecteert u Werkruimte-instellingen.

   

2. Vouw in werkruimte-instellingenData Engineering/Science uit in het linkermenu en selecteer Spark-instellingen.

3. Selecteer in Spark-instellingenhet tabblad Automatisch logboek.

4. Stel in Machine Learning-experimenten en -modellen automatisch bijhouden op of Uitte .

5. Selecteer Opslaan.

   

Verwante inhoud

• een machine learning-model bouwen met Apache Spark MLlib
• Machine learning-experimenten in Microsoft Fabric
• MLflow 3 in Fabric Data Science