Automatické přihlašování v Microsoft Fabric

Synapse Datová Věda v Microsoft Fabric zahrnuje automatické protokolování, což výrazně snižuje množství kódu potřebného k automatickému protokolování parametrů, metrik a položek modelu strojového učení během trénování. Tento článek popisuje automatické protokolování pro Synapse Datová Věda v Microsoft Fabric.

Automatické přihlašování rozšiřuje možnosti sledování MLflow a je hluboce integrován do Datová Věda Synapse v prostředí Microsoft Fabric. Automatické přihlašování může zaznamenávat různé metriky, včetně přesnosti, ztráty, skóre F1 a vlastních metrik, které definujete. Díky automatickému přihlašování můžou vývojáři a datoví vědci snadno sledovat a porovnávat výkon různých modelů a experimentů bez ručního sledování.

Podporované architektury

Automatické protokolování podporuje širokou škálu architektur strojového učení, včetně TensorFlow, PyTorch, Scikit-learn a XGBoost. Další informace o vlastnostech specifických pro architekturu, které autologování zaznamenává, najdete v dokumentaci K MLflow.

Konfigurace

Automatické zalogování funguje tak, že automaticky zachytává hodnoty vstupních parametrů, výstupních metrik a výstupních položek modelu strojového učení při trénování. Tyto informace se protokolují do pracovního prostoru Microsoft Fabric, kde k němu můžete přistupovat a vizualizovat pomocí rozhraní API MLflow nebo odpovídajících položek experimentu a modelu v pracovním prostoru Microsoft Fabric.

Když spustíte poznámkový blok Synapse Datová Věda, Microsoft Fabric zavolá mlflow.autolog(), aby okamžitě povolil sledování a načetl odpovídající závislosti. Při trénování modelů v poznámkovém bloku MLflow automaticky sleduje tyto informace o modelu.

Konfigurace se provádí automaticky na pozadí při spuštění import mlflow. Výchozí konfigurace pro háček mlflow.autolog() poznámkového bloku je:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Vlastní nastavení

K přizpůsobení chování protokolování můžete použít konfiguraci mlflow.autolog(). Tato konfigurace poskytuje parametry pro povolení protokolování modelu, shromažďování vstupních ukázek, konfiguraci upozornění nebo povolení protokolování pro zadaný přidaný obsah.

Sledování dalších metrik, parametrů a vlastností

V případě spuštění vytvořených pomocí MLflow aktualizujte konfiguraci automatického protokolování ML tak, aby sledovala další metriky, parametry, soubory a metadata následujícím způsobem:

1. Aktualizujte volání mlflow.autolog(), které chcete nastavit exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Pomocí rozhraní API pro sledování MLflow můžete protokolovat další parametry a metriky. Následující ukázkový kód umožňuje protokolovat vlastní metriky a parametry spolu s dalšími vlastnostmi.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Zakázání automatického protokolování Microsoft Fabric

Automatické protokolování Microsoft Fabric můžete zakázat pro konkrétní relaci poznámkového bloku. Automatické protokolování ve všech poznámkových blocích můžete také zakázat pomocí nastavení pracovního prostoru.

Poznámka:

Pokud je automatické protokolování zakázané, musíte parametry a metriky protokolovat ručně pomocí rozhraní API MLflow.

Zakázání automatického protokolování pro relaci poznámkového bloku

Pokud chcete zakázat automatické protokolování Microsoft Fabric pro konkrétní relaci poznámkového bloku, zavolejte mlflow.autolog() a nastavte disable=True.

import mlflow
mlflow.autolog(disable=True)

Zakázání automatického protokolování pro všechny poznámkové bloky a relace

Správci pracovního prostoru můžou povolit nebo zakázat automatické protokolování Microsoft Fabric pro všechny poznámkové bloky a relace ve svém pracovním prostoru pomocí nastavení pracovního prostoru. Povolení nebo zakázání automatického protokolování synapse Datová Věda:

1. V pracovním prostoru Synapse Datová Věda vyberte Nastavení pracovního prostoru.

   

2. Na obrazovce Nastavení pracovního prostoru rozbalte Datoví technici/Věda na levém navigačním panelu a vyberte nastavení Sparku.

3. Na obrazovce nastavení Sparku vyberte kartu Automatické protokolování.

4. Nastavte automatické sledování experimentů a modelů strojového učení na zapnuto nebo vypnuto.

5. Zvolte Uložit.

   

Související obsah

• Vytvoření modelu strojového učení pomocí knihovny Apache Spark MLlib
• Experimenty strojového učení v Microsoft Fabric