Automatické přihlašování v Microsoft Fabric

Článek
05/23/2023

Synapse Datová Věda v Microsoft Fabric zahrnuje automatické protokolování, které výrazně snižuje množství kódu potřebného k automatickému protokolování parametrů, metrik a položek modelu strojového učení během trénování. Tato funkce rozšiřuje možnosti automatického přihlašování MLflow a je hluboce integrovaná do Datová Věda Synapse v prostředí Microsoft Fabric. Pomocí automatického přihlašování můžou vývojáři a datoví vědci snadno sledovat a porovnávat výkon různých modelů a experimentů bez nutnosti ručního sledování.

Důležité

Microsoft Fabric je v současné době ve verzi PREVIEW. Tyto informace se týkají předběžného vydání produktu, který může být před vydáním podstatně změněn. Společnost Microsoft neposkytuje na zde uvedené informace žádné záruky, ať už vyjádřené nebo předpokládané.

Konfigurace

Automatické přihlašování funguje tak, že při trénování modelu strojového učení automaticky zachytává hodnoty vstupních parametrů, výstupních metrik a výstupních položek. Tyto informace se pak zaprotokolují do pracovního prostoru Microsoft Fabric, kde je můžete získat a vizualizovat pomocí rozhraní API MLflow nebo odpovídajících položek modelu experimentu & v pracovním prostoru Microsoft Fabric.

Výchozí konfigurace pro hák mlflow.autolog() poznámkového bloku je:


mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

Když spustíte poznámkový blok Synapse Datová Věda, Microsoft Fabric zavolá mlflow.autolog(), aby okamžitě povolil sledování a načetl odpovídající závislosti. Při trénování modelů v poznámkovém bloku se tyto informace o modelu automaticky sledují pomocí MLflow. Tato konfigurace se provádí automaticky na pozadí při spuštění příkazu import mlflow.

Podporované architektury

Autologging podporuje širokou škálu architektur strojového učení, včetně TensorFlow, PyTorch, Scikit-learn a XGBoost. Může zaznamenávat různé metriky, včetně přesnosti, ztráty a skóre F1, a také vlastní metriky definované uživatelem. Další informace o zachycených vlastnostech specifických pro architekturu najdete v dokumentaci k MLflow.

Přizpůsobení chování protokolování

K přizpůsobení chování protokolování můžete použít konfiguraci mlflow.autolog(). Tato konfigurace poskytuje parametry pro povolení protokolování modelu, shromažďování vstupních ukázek, konfiguraci upozornění nebo dokonce povolení protokolování obsahu zadaného uživatelem.

Sledování dalšího obsahu

Konfiguraci automatického přihlašování můžete aktualizovat tak, aby sledovala další metriky, parametry, soubory a metadata pomocí spuštění vytvořených pomocí MLflow.

Použijte následující postup:

Aktualizujte volání mlflow.autolog() a nastavte exclusive=False.

    mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=False, # Update this property to enable custom logging
    disable_for_unsupported_versions=True,
    silent=True
)

Pomocí rozhraní API pro sledování MLflow můžete protokolovat další parametry a metriky. To vám umožní zachytit vlastní metriky a parametry a zároveň použít automatické přihlašování k zachycení dalších vlastností.

Například:
```
import mlflow
mlflow.autolog(exclusive=False)

with mlflow.start_run():
  mlflow.log_param("parameter name", "example value")
  # <add model training code here>
  mlflow.log_metric("metric name", 20)
```

Zákaz automatického protokolování Microsoft Fabric

Automatické přihlašování Microsoft Fabric je možné zakázat pro konkrétní relaci poznámkového bloku nebo pro všechny poznámkové bloky pomocí nastavení pracovního prostoru.

Poznámka

Pokud je automatické protokolování zakázané, musí uživatelé ručně protokolovat vlastní parametry a metriky pomocí rozhraní API MLflow.

Zakázání automatického protokolování pro relaci poznámkového bloku

Pokud chcete zakázat automatické protokolování Microsoft Fabric v relaci poznámkového bloku, můžete volat mlflow.autolog() a nastavit disable=True.

Například:

import mlflow
mlflow.autolog(disable=True)

Zakázání automatického protokolování pro pracovní prostor

Správci pracovního prostoru můžou povolit nebo zakázat automatické protokolování Microsoft Fabric pro všechny relace v rámci svého pracovního prostoru.