Automatikus keresés a Microsoft Fabricben

A Microsoft Fabric Synapse Adattudomány automatikusan fel van adva, ami jelentősen csökkenti a gépi tanulási modell paramétereinek, metrikáinak és elemeinek automatikus naplózásához szükséges kód mennyiségét a betanítás során. Ez a cikk a Synapse Adattudomány microsoft fabricbeli automatikus használatát ismerteti.

Az automatikus naplózás kiterjeszti az MLflow-követési képességeket, és mélyen integrálva van a Synapse Adattudomány a Microsoft Fabric felületén. Az automatikus keresés különböző metrikákat rögzíthet, beleértve a pontosságot, a veszteséget, az F1 pontszámot és az Ön által definiált egyéni metrikákat. Az autologging használatával a fejlesztők és az adattudósok könnyedén nyomon követhetik és összehasonlíthatják a különböző modellek és kísérletek teljesítményét manuális nyomon követés nélkül.

Támogatott keretrendszerek

Az automatikus naplózás számos gépi tanulási keretrendszert támogat, például a TensorFlow-t, a PyTorch-ot, a Scikit-learn-t és az XGBoost-t. Az automatikus rögzítést automatikusan használó keretrendszerspecifikus tulajdonságokról az MLflow dokumentációjában olvashat bővebben.

Konfiguráció

Az automatikus naplózás úgy működik, hogy automatikusan rögzíti a gépi tanulási modell bemeneti paramétereinek, kimeneti metrikáinak és kimeneti elemeinek értékeit a betanítás során. Ezeket az adatokat a rendszer naplózza a Microsoft Fabric-munkaterületre, ahol az MLflow API-k vagy a Microsoft Fabric-munkaterület megfelelő kísérlet- és modellelemeinek használatával érheti el és jelenítheti meg azokat.

Amikor elindít egy Synapse Adattudomány-jegyzetfüzetet, a Microsoft Fabric meghívja az mlflow.autolog() parancsot, hogy azonnal engedélyezze a nyomkövetést, és betöltse a megfelelő függőségeket. A jegyzetfüzet modelljeinek betanítása során az MLflow automatikusan nyomon követi ezt a modellinformációt.

A konfiguráció automatikusan a színfalak mögött történik a futtatáskor import mlflow. A notebook mlflow.autolog() horog alapértelmezett konfigurációja a következő:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True
)

Testreszabás

A naplózási viselkedés testreszabásához használhatja a mlflow.autolog() konfigurációt. Ez a konfiguráció paramétereket biztosít a modellnaplózás engedélyezéséhez, bemeneti minták gyűjtéséhez, figyelmeztetések konfigurálásához vagy a megadott hozzáadott tartalom naplózásának engedélyezéséhez.

További metrikák, paraméterek és tulajdonságok nyomon követése

Az MLflow használatával létrehozott futtatások esetében frissítse az MLflow automatikus naplózási konfigurációját a további metrikák, paraméterek, fájlok és metaadatok nyomon követéséhez az alábbiak szerint:

1. Frissítse a mlflow.autolog() hívást a beállításhoz exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Az MLflow tracking API-kkal további paramétereket és metrikákat naplózhat. Az alábbi példakód segítségével további tulajdonságok mellett naplózhatja az egyéni metrikákat és paramétereket.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

A Microsoft Fabric automatikus kitöltésének letiltása

Letilthatja a Microsoft Fabric automatikus használatát egy adott jegyzetfüzet-munkamenethez. A munkaterület-beállítással letilthatja az automatikus naplózást az összes jegyzetfüzetben.

Feljegyzés

Ha az automatikus naplózás le van tiltva, manuálisan kell naplóznia a paramétereket és a metrikákat az MLflow API-k használatával.

Jegyzetfüzet-munkamenet automatikus kitöltésének letiltása

Ha le szeretné tiltani a Microsoft Fabric automatikus használatát egy adott jegyzetfüzet-munkamenethez, hívja meg az mlflow.autolog() parancsot, és állítsa be a beállítást disable=True.

import mlflow
mlflow.autolog(disable=True)

Az összes jegyzetfüzet és munkamenet automatikus kitöltésének letiltása

A munkaterület-rendszergazdák a munkaterület beállításaival engedélyezhetik vagy letilthatják a Microsoft Fabric automatikus naplózását a munkaterületen lévő összes jegyzetfüzethez és munkamenethez. A Synapse Adattudomány automatikus beállítás engedélyezéséhez vagy letiltásához:

1. A Synapse Adattudomány munkaterületen válassza a Munkaterület beállításai lehetőséget.

   

2. A Munkaterület beállításai képernyőn bontsa ki a bal oldali navigációs sávon a adatmérnök ing/Tudomány elemet, és válassza a Spark-beállításokat.

3. A Spark beállításai képernyőn válassza az Automatikus napló fület.

4. Gépi tanulási kísérletek és modellek automatikus nyomon követésének beállítása Be vagy Ki értékre.

5. Válassza a Mentés lehetőséget.

   

Kapcsolódó tartalom

• Gépi tanulási modell létrehozása az Apache Spark MLlib használatával
• Gépi tanulási kísérletek a Microsoft Fabricben