Automatische Protokollierung in Microsoft Fabric

Synapse Data Science in Microsoft Fabric enthält eine automatische Protokollierung, wodurch die Menge an erforderlichem Code erheblich reduziert wird, um die Parameter, Metriken und Elemente eines Machine Learning-Modells während des Trainings automatisch zu protokollieren. Dieser Artikel beschreibt die automatische Protokollierung für Synapse Data Science in Microsoft Fabric.

Die automatische Protokollierung erweitert das automatische Tracking von MLflow und ist eng mit Synapse Data Science in Microsoft Fabric verzahnt. Die automatische Protokollierung kann verschiedene Metriken erfassen, darunter Genauigkeit, Verlust, F1-Score und von Ihnen definierte Metriken. Mithilfe der automatischen Protokollierung können Entwickler*innen und Data Scientists die Leistung verschiedener Modelle und Experimente problemlos nachverfolgen und vergleichen, und das komplett ohne manuelle Nachverfolgung.

Unterstützte Frameworks

Die automatische Protokollierung unterstützt eine Vielzahl von Machine-Learning-Frameworks, einschließlich TensorFlow, PyTorch, Scikit-learn und XGBoost. Weitere Informationen zu den frameworkspezifischen Eigenschaften, die die automatische Protokollierung erfasst werden, finden Sie in der MLflow-Dokumentation.

Konfiguration

Die automatische Protokollierung erfasst automatisch Werte von Eingabeparametern, Ausgabemetriken und Ausgabeelementen eines Machine Learning-Modells, während es trainiert wird. Diese Informationen werden in Ihrem Microsoft Fabric-Arbeitsbereich protokolliert, wo Sie sie mithilfe der MLflow-APIs oder der entsprechenden Experiment- und Modellelemente in Ihrem Microsoft Fabric-Arbeitsbereich aufrufen und visualisieren können.

Wenn Sie ein Synapse Data Science-Notebook starten, ruft Microsoft Fabric mlflow.autolog() auf, um die Nachverfolgung sofort zu aktivieren und die entsprechenden Abhängigkeiten zu laden. Wenn Sie Modelle in Ihrem Notebook trainieren, verfolgt MLflow diese Modellinformationen automatisch.

Die Konfiguration erfolgt automatisch hinter den Kulissen, wenn Sie import mlflow ausführen. Standardkonfiguration für den Notebookhook mlflow.autolog():

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Anpassung

Zum Anpassen des Protokollierungsverhaltens können Sie die Konfiguration mlflow.autolog() verwenden. Diese Konfiguration bietet Parameter zur Aktivierung der Modellprotokollierung, zum Sammeln von Eingabeproben, zur Konfiguration von Warnungen oder zur Aktivierung der Protokollierung für von Ihnen angegebene zusätzliche Inhalte.

Nachverfolgen weiterer Metriken, Parameter und Eigenschaften

Für Ausführungen, die mit MLflow erstellt wurden, aktualisieren Sie die Konfiguration der MLflow-Autoprotokollierung, um zusätzliche Metriken, Parameter, Dateien und Metadaten wie folgt zu verfolgen:

1. Aktualisieren Sie den Aufruf von mlflow.autolog(), um exclusive=False festzulegen.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Verwenden Sie die MLflow-Nachverfolgungs-APIs, um zusätzliche Parameter und Metriken zu protokollieren. Mit dem folgenden Beispielcode können Sie Ihre benutzerdefinierten Metriken und Parameter zusammen mit zusätzlichen Eigenschaften protokollieren.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Deaktivieren der automatischen Protokollierung in Microsoft Fabric

Sie können das Microsoft Fabric Autologging für eine bestimmte Notebook-Sitzung deaktivieren. Sie können die automatische Protokollierung auch für alle Notebooks deaktivieren, indem Sie die Einstellung Arbeitsbereich verwenden.

Hinweis

Wenn Sie die automatische Protokollierung deaktiviert haben, müssen Sie ihre Parameter und Metriken mithilfe der MLflow-APIs manuell protokollieren.

Deaktivieren der automatischen Protokollierung für eine Notebooksitzung

Um die automatische Protokollierung für eine spezifische Notebooksitzung zu deaktivieren, rufen Sie mlflow.autolog() auf und legen Sie disable=True fest.

import mlflow
mlflow.autolog(disable=True)

Deaktivieren der automatischen Protokollierung für alle Notebooks und Sitzungen

Arbeitsbereichsadministratoren können die automatische Protokollierung von Microsoft Fabric für alle Notebooks und Sitzungen in ihrem Arbeitsbereich aktivieren oder deaktivieren, indem sie die Arbeitsbereichseinstellungen verwenden. So aktivieren oder deaktivieren Sie die automatische Protokollierung von Synapse Data Science:

1. Wählen Sie in Ihrem Synapse Data Science-Arbeitsbereich die Option Arbeitsbereichseinstellungen.

   

2. Erweitern Sie auf dem Bildschirm Arbeitsbereichseinstellungen in der linken Navigationsleiste Datentechnik/-wissenschaft und wählen Sie Spark-Einstellungen.

3. Wählen Sie auf dem Bildschirm Spark-Einstellungen die Registerkarte Automatisches Protokoll aus.

4. Setzen Sie das automatisches Nachverfolgen von Machine Learning-Experimenten und -Modellen auf Ein oder Aus fest.

5. Wählen Sie Speichern.

   

Zugehöriger Inhalt

• Erstellen eines Machine Learning-Modells mit Apache Spark MLlib
• Machine Learning-Experimente in Microsoft Fabric