Automatikus keresés a Microsoft Fabricben

Cikk
05/23/2023

A Microsoft Fabric synapse Adattudomány tartalmazza az automatikus lekérést, ami jelentősen csökkenti a gépi tanulási modell paramétereinek, metrikáinak és elemeinek automatikus naplózásához szükséges kód mennyiségét a betanítás során. Ez a funkció kiterjeszti az MLflow automatikus naplózási képességeit, és mélyen integrálva van a Synapse Adattudomány a Microsoft Fabricben. Az autologging használatával a fejlesztők és az adatelemzők egyszerűen nyomon követhetik és összehasonlíthatják a különböző modellek és kísérletek teljesítményét anélkül, hogy manuális nyomkövetésre van szükség.

Fontos

A Microsoft Fabric jelenleg előzetes verzióban érhető el. Ezek az információk egy előzetes termékre vonatkoznak, amely a kiadás előtt lényegesen módosítható. A Microsoft nem vállal kifejezett vagy vélelmezett garanciát az itt megadott információkra vonatkozóan.

Konfigurációk

Az automatikus naplózás úgy működik, hogy a betanítás során automatikusan rögzíti a gépi tanulási modell bemeneti paramétereinek, kimeneti metrikáinak és kimeneti elemeinek értékeit. Ezeket az információkat ezután a rendszer naplózza a Microsoft Fabric-munkaterületre, ahol az MLflow API-k vagy a Microsoft Fabric-munkaterület megfelelő kísérletmodell-elemeivel & érhetők el és jeleníthetők meg.

A notebook mlflow.autolog() horogának alapértelmezett konfigurációja a következő:


mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

Amikor elindít egy Synapse-Adattudomány-jegyzetfüzetet, a Microsoft Fabric meghívja az mlflow.autolog() parancsot, hogy azonnal engedélyezze a nyomkövetést, és betöltse a megfelelő függőségeket. A jegyzetfüzetben lévő modellek betanítása során a rendszer automatikusan nyomon követi ezeket a modellinformációkat az MLflow használatával. Ez a konfiguráció automatikusan a színfalak mögött történik a futtatáskor import mlflow.

Támogatott keretrendszerek

Az automatikus naplózás számos gépi tanulási keretrendszert támogat, például a TensorFlow- és PyTorch-, Scikit-learn- és XGBoost-keretrendszereket. Számos metrikát rögzíthet, beleértve a pontosságot, a veszteséget és az F1 pontszámot, valamint a felhasználó által definiált egyéni metrikákat. A rögzített keretrendszer-specifikus tulajdonságokról az MLflow dokumentációjában olvashat bővebben.

Naplózási viselkedés testreszabása

A naplózási viselkedés testreszabásához használhatja a mlflow.autolog() konfigurációt. Ez a konfiguráció biztosítja a modellnaplózás engedélyezéséhez, a bemeneti minták gyűjtéséhez, a figyelmeztetések konfigurálásához vagy akár a felhasználó által megadott tartalmak naplózásának engedélyezéséhez szükséges paramétereket.

További tartalom nyomon követése

Az automatikus naplózási konfigurációt frissítheti további metrikák, paraméterek, fájlok és metaadatok nyomon követéséhez az MLflow használatával létrehozott futtatásokkal.

Ehhez tegye a következőket:

Frissítse a mlflow.autolog() hívást, és állítsa be a következőt exclusive=False: .

    mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=False, # Update this property to enable custom logging
    disable_for_unsupported_versions=True,
    silent=True
)

Az MLflow nyomkövetési API-kkal további paramétereket és metrikákat naplózhat. Ez lehetővé teszi az egyéni metrikák és paraméterek rögzítését, ugyanakkor lehetővé teszi az automatikus naplózást további tulajdonságok rögzítésére.

Ilyenek például a következők:
```
import mlflow
mlflow.autolog(exclusive=False)

with mlflow.start_run():
  mlflow.log_param("parameter name", "example value")
  # <add model training code here>
  mlflow.log_metric("metric name", 20)
```

A Microsoft Fabric automatikus naplózásának letiltása

A Microsoft Fabric automatikus naplózása le van tiltva egy adott jegyzetfüzet-munkamenetben vagy az összes jegyzetfüzetben a munkaterület beállításával.

Megjegyzés

Ha az automatikus naplózás le van tiltva, a felhasználóknak manuálisan kell naplózniuk a saját paramétereiket és metrikáikat az MLflow API-k használatával.

Jegyzetfüzet-munkamenet automatikus kitöltésének letiltása

Ha le szeretné tiltani a Microsoft Fabric automatikus keresését egy jegyzetfüzet-munkamenetben, hívja meg az mlflow.autolog() parancsot, és állítsa be a következőt disable=True: .

Például:

import mlflow
mlflow.autolog(disable=True)

A munkaterület automatikus naplózásának letiltása

A munkaterületgazdák engedélyezhetik vagy letilthatják a Microsoft Fabric automatikus naplózását a munkaterület összes munkamenetéhez.