Automatyczne rejestrowanie w usłudze Microsoft Fabric

Usługa Synapse Nauka o danych w usłudze Microsoft Fabric obejmuje automatyczne rejestrowanie, co znacznie zmniejsza ilość kodu wymaganego do automatycznego rejestrowania parametrów, metryk i elementów modelu uczenia maszynowego podczas trenowania. W tym artykule opisano automatyczne rejestrowanie Nauka o danych synapse w usłudze Microsoft Fabric.

Automatyczne rejestrowanie rozszerza możliwości śledzenia MLflow i jest głęboko zintegrowane z usługą Synapse Nauka o danych w środowisku usługi Microsoft Fabric. Automatyczne rejestrowanie może przechwytywać różne metryki, w tym dokładność, utratę, ocenę F1 i zdefiniowane metryki niestandardowe. Korzystając z automatycznego rejestrowania, deweloperzy i analitycy danych mogą łatwo śledzić i porównywać wydajność różnych modeli i eksperymentów bez ręcznego śledzenia.

Obsługiwane struktury

Automatyczne rejestrowanie obsługuje szeroką gamę platform uczenia maszynowego, w tym TensorFlow, PyTorch, Scikit-learn i XGBoost. Aby dowiedzieć się więcej o właściwościach specyficznych dla platformy, które są przechwytywane automatycznie, zobacz dokumentację platformy MLflow.

Konfigurowanie

Automatyczne rejestrowanie działa przez automatyczne przechwytywanie wartości parametrów wejściowych, metryk wyjściowych i elementów wyjściowych modelu uczenia maszynowego podczas trenowania. Te informacje są rejestrowane w obszarze roboczym usługi Microsoft Fabric, w którym można uzyskiwać dostęp do niego i wizualizować za pomocą interfejsów API platformy MLflow lub odpowiednich eksperymentów i elementów modelu w obszarze roboczym usługi Microsoft Fabric.

Po uruchomieniu notesu usługi Synapse Nauka o danych usługa Microsoft Fabric wywołuje metodę mlflow.autolog(), aby natychmiast włączyć śledzenie i ładowanie odpowiednich zależności. Podczas trenowania modeli w notesie platforma MLflow automatycznie śledzi te informacje o modelu.

Konfiguracja jest wykonywana automatycznie w tle po uruchomieniu polecenia import mlflow. Domyślna konfiguracja elementu zaczepienia mlflow.autolog() notesu to:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Dostosowanie

Aby dostosować zachowanie rejestrowania, możesz użyć konfiguracji mlflow.autolog(). Ta konfiguracja zawiera parametry umożliwiające rejestrowanie modelu, zbieranie przykładów danych wejściowych, konfigurowanie ostrzeżeń lub włączanie rejestrowania dla określonej zawartości dodanej.

Śledzenie większej liczby metryk, parametrów i właściwości

W przypadku przebiegów utworzonych za pomocą biblioteki MLflow zaktualizuj konfigurację automatycznego rejestrowania MLflow, aby śledzić dodatkowe metryki, parametry, pliki i metadane w następujący sposób:

1. Zaktualizuj wywołanie mlflow.autolog(), aby ustawić .exclusive=False

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Użyj interfejsów API śledzenia MLflow, aby rejestrować dodatkowe parametry i metryki. Poniższy przykładowy kod umożliwia rejestrowanie niestandardowych metryk i parametrów wraz z dodatkowymi właściwościami.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Wyłączanie automatycznego rejestrowania w usłudze Microsoft Fabric

Automatyczne rejestrowanie w usłudze Microsoft Fabric można wyłączyć dla określonej sesji notesu. Automatyczne rejestrowanie można również wyłączyć we wszystkich notesach przy użyciu ustawienia obszaru roboczego.

Uwaga

Jeśli automatyczne rejestrowanie jest wyłączone, musisz ręcznie rejestrować parametry i metryki przy użyciu interfejsów API platformy MLflow.

Wyłączanie automatycznego rejestrowania dla sesji notesu

Aby wyłączyć automatyczne rejestrowanie usługi Microsoft Fabric dla określonej sesji notesu, wywołaj metodę mlflow.autolog() i ustaw wartość disable=True.

import mlflow
mlflow.autolog(disable=True)

Wyłączanie automatycznego rejestrowania dla wszystkich notesów i sesji

Administratorzy obszaru roboczego mogą włączać lub wyłączać automatyczne rejestrowanie usługi Microsoft Fabric dla wszystkich notesów i sesji w swoim obszarze roboczym przy użyciu ustawień obszaru roboczego. Aby włączyć lub wyłączyć funkcję automatycznego rejestrowania usługi Synapse Nauka o danych:

1. W obszarze roboczym usługi Synapse Nauka o danych wybierz pozycję Ustawienia obszaru roboczego.

   

2. Na ekranie Ustawienia obszaru roboczego rozwiń pozycję inżynierowie danych ing/Science na lewym pasku nawigacyjnym i wybierz pozycję Ustawienia platformy Spark.

3. Na ekranie Ustawień platformy Spark wybierz kartę Dziennik automatyczny.

4. Ustaw opcję Automatycznie śledź eksperymenty i modele uczenia maszynowego na wartość Włączone lub Wyłączone.

5. Wybierz pozycję Zapisz.

   

Powiązana zawartość

• Tworzenie modelu uczenia maszynowego za pomocą biblioteki MLlib platformy Apache Spark
• Eksperymenty uczenia maszynowego w usłudze Microsoft Fabric