Automatikus keresés a Microsoft Fabricben

A Microsoft Fabric Synapse Adattudomány automatikusan fel van adva, ami jelentősen csökkenti a gépi tanulási modell paramétereinek, metrikáinak és elemeinek automatikus naplózásához szükséges kód mennyiségét a betanítás során. Ez a funkció kiterjeszti az MLflow automatikus naplózási képességeit, és mélyen integrálva van a Synapse Adattudomány a Microsoft Fabric felületén. Az autologging használatával a fejlesztők és az adattudósok egyszerűen nyomon követhetik és összehasonlíthatják a különböző modellek és kísérletek teljesítményét anélkül, hogy manuális nyomon követést kellene végezni.

Konfigurációk

Az automatikus betanítás úgy működik, hogy automatikusan rögzíti a gépi tanulási modell bemeneti paramétereinek, kimeneti metrikáinak és kimeneti elemeinek értékeit a betanítás során. Ezt az információt ezután naplózza a Microsoft Fabric-munkaterületre, ahol az MLflow API-k vagy a Microsoft Fabric-munkaterület megfelelő kísérlet- és modellelemeinek használatával érhető el és jeleníthető meg.

A notebook mlflow.autolog() horog alapértelmezett konfigurációja a következő:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True)

Amikor elindít egy Synapse Adattudomány-jegyzetfüzetet, a Microsoft Fabric meghívja az mlflow.autolog() fájlt, hogy azonnal engedélyezze a nyomkövetést, és betöltse a megfelelő függőségeket. A jegyzetfüzet modelljeinek betanítása során a rendszer automatikusan nyomon követi ezt a modellinformációt az MLflow segítségével. Ez a konfiguráció a futtatáskor import mlflowautomatikusan a színfalak mögött történik.

Támogatott keretrendszerek

Az automatikus naplózás számos gépi tanulási keretrendszert támogat, például a TensorFlow-t, a PyTorch-ot, a Scikit-learn-t és az XGBoost-t. Számos különböző metrikát rögzíthet, beleértve a pontosságot, a veszteséget és az F1 pontszámot, valamint a felhasználó által definiált egyéni metrikákat. A rögzített keretrendszer-specifikus tulajdonságokról az MLflow dokumentációjában olvashat bővebben.

Naplózási viselkedés testreszabása

A naplózási viselkedés testreszabásához használhatja az mlflow.autolog() konfigurációt. Ez a konfiguráció biztosítja a paramétereket a modellnaplózás engedélyezéséhez, a bemeneti minták gyűjtéséhez, a figyelmeztetések konfigurálásához, vagy akár a felhasználó által megadott tartalmak naplózásának engedélyezéséhez.

További tartalom nyomon követése

Az automatikus naplózási konfigurációt frissítheti, hogy további metrikákat, paramétereket, fájlokat és metaadatokat kövessen nyomon az MLflow használatával létrehozott futtatásokkal.

Megvalósítás:

1. Frissítse a mlflow.autolog() hívást, és állítsa be exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True
   )
   

2. Az MLflow tracking API-kkal további paramétereket és metrikákat naplózhat. Ez lehetővé teszi az egyéni metrikák és paraméterek rögzítését, valamint lehetővé teszi az automatikus kitöltést további tulajdonságok rögzítéséhez.

   Ilyenek például a következők:

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

A Microsoft Fabric automatikus kitöltésének letiltása

A Microsoft Fabric automatikus kitöltése letiltható egy adott jegyzetfüzet-munkamenetben vagy az összes jegyzetfüzetben a munkaterület-beállítás használatával.

Feljegyzés

Ha az automatikus naplózás le van tiltva, a felhasználóknak manuálisan kell naplózniuk a saját paramétereiket és metrikáikat az MLflow API-k használatával.

Jegyzetfüzet-munkamenet automatikus kitöltésének letiltása

Ha le szeretné tiltani a Microsoft Fabric automatikus használatát egy jegyzetfüzet-munkamenetben, meghívhatja az mlflow.autolog() függvényt, és beállíthatja a beállítást disable=True.

Példa:

import mlflow
mlflow.autolog(disable=True)

A munkaterület automatikus kitöltésének letiltása

A munkaterületgazdák engedélyezhetik vagy letilthatják a Microsoft Fabric automatikus használatát a munkaterület összes munkamenetében.

Megvalósítás:

1. Lépjen a Synapse Adattudomány-munkaterületre, és válassza a Munkaterület Gépház lehetőséget.

   

2. A adatmérnök/Tudomány lapon válassza a Spark-számítás lehetőséget. Itt találja a Synapse engedélyezésére vagy letiltására Adattudomány automatikus beállítását.

   

Kapcsolódó tartalom

• Spark MLlib-modell betanítása automatikus felírással: Betanítás a Spark MLlib használatával
• További információ a Microsoft Fabric gépi tanulási kísérleteiről: Kísérletek