Ml-kísérletek és modellek nyomon követése az MLflow használatával

A nyomon követés a kísérlet összes kapcsolódó információjának mentésére utal, amelyek minden futtatott kísérlethez relevánsnak tűnhetnek. Az ilyen metaadatok a projekttől függően változnak, de a következők lehetnek:

• Code
• Környezet részletei (operációsrendszer-verzió, Python-csomagok)
• Bemeneti adatok
• Paraméterkonfigurációk
• Modellek
• Értékelési metrikák
• Kiértékelési vizualizációk (keveredési mátrix, fontossági diagramok)
• Értékelési eredmények (beleértve néhány kiértékelési előrejelzést is)

Ezen elemek némelyikét az Azure Machine Learning automatikusan nyomon követi a feladatok (például a kód, a környezet, valamint a bemeneti és kimeneti adatok) használatakor. Másoknak, például a modelleknek, paramétereknek és metrikáknak azonban a modellkészítőnek kell lennie, mivel az adott forgatókönyvre jellemző.

Ebből a cikkből megtudhatja, hogyan használhatja az MLflow-t a kísérletek nyomon követéséhez és az Azure Machine Learning-munkaterületeken való futtatáshoz.

Megjegyzés

Ha nyomon szeretné követni az Azure Databricksben vagy Azure Synapse Analyticsben futó kísérleteket, tekintse meg az Azure Databricks ML-kísérletek nyomon követése az MLflow és az Azure Machine Learning használatával, illetve az MLflow és az Azure Machine Learning Azure Synapse Analytics ML-kísérleteinek nyomon követése című témakört.

A kísérletek nyomon követésének előnyei

Erősen javasoljuk a gépi tanulási szakembereknek, hogy nyomon követve alakítsák ki kísérleteiket, függetlenül attól, hogy az Azure Machine Learningben végzett feladatokkal vagy a jegyzetfüzetekben interaktív módon tanulnak. Az előnyök:

• Az összes gépi tanulási kísérlet egyetlen helyen van rendezve, így kereshet és szűrhet kísérleteket, hogy megtalálja az információkat, és részletezze, hogy pontosan mi volt az, amit korábban kipróbált.
• Hasonlítsa össze a kísérleteket, elemezze az eredményeket és hibakeresési modell betanítását kevés többletmunkával.
• Kísérletek reprodukálása vagy újrafuttatása az eredmények ellenőrzéséhez.
• Az együttműködés javításához tekintse meg, hogy mindenki mit csinál, ossza meg a kísérlet eredményeit, és programozott módon férhessen hozzá a kísérleti adatokhoz.

Miért érdemes MLflow

Az Azure Machine Learning-munkaterületek MLflow-kompatibilisek, ami azt jelenti, hogy az MLflow használatával nyomon követheti a futtatásokat, metrikákat, paramétereket és összetevőket az Azure Machine Learning-munkaterületekkel. Az MLflow nyomkövetéshez való használatával nem kell módosítania a betanítási rutinokat az Azure Machine Learning használatához, és nem kell beszúrnia a felhőspecifikus szintaxist, ami a megközelítés egyik fő előnye.

Tekintse meg az MLflow és az Azure Machine Learning összes támogatott MLflow- és Azure Machine Learning-funkcióját, beleértve az MLflow Project támogatását (előzetes verzió) és a modell üzembe helyezését.

Előfeltételek

• Telepítse a Mlflow SDK-csomagot mlflow és az Azure Machine Learning beépülő modult az MLflow-hoz azureml-mlflow.

  pip install mlflow azureml-mlflow
  

  Tipp

  A csomagot mlflow-skinnysql storage, kiszolgáló, felhasználói felület vagy adatelemzési függőségek nélkül is használhatja, amely egy egyszerű MLflow-csomag. Azoknak a felhasználóknak ajánlott, akiknek elsősorban a nyomkövetési és naplózási képességekre van szükségük az MLflow-funkciók teljes csomagjának importálása nélkül, beleértve az üzemelő példányokat is.

• Szüksége van egy Azure Machine Learning-munkaterületre. Ezt az oktatóanyagot követve létrehozhat egyet.

  • Megtudhatja, hogy milyen hozzáférési engedélyekre van szüksége az MLflow-műveletek munkaterületen való végrehajtásához.

• Ha távoli nyomkövetést végez (az Azure Machine Learningen kívül futó nyomkövetési kísérleteket), konfigurálja az MLflow-t úgy, hogy az az Azure Machine Learning-munkaterület nyomonkövetési URI-jára mutasson az MLflow konfigurálása az Azure Machine Learninghez című témakörben leírtak szerint.

A kísérlet konfigurálása

Az MLflow kísérletekben és futtatásokban rendszerezi az információkat (az Azure Machine Learningben a futtatásokat Feladatoknak nevezzük). Alapértelmezés szerint a rendszer naplózza a futtatásokat egy Alapértelmezett nevű kísérletbe, amely automatikusan létrejön Az Ön számára. Konfigurálhatja a kísérletet, ahol a nyomon követés történik.

Interaktív munka

Interaktív betanításkor, például egy Jupyter Notebook, használja az MLflow parancsotmlflow.set_experiment(). Az alábbi kódrészlet például bemutatja a kísérlet konfigurálását, majd a naplózást egy feladat során:

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

Feladatok használata

Amikor feladatokat küld el az Azure Machine Learning CLI vagy az SDK használatával, a kísérlet nevét a feladat tulajdonságával experiment_name állíthatja be. Nem kell konfigurálnia a betanítási szkripten.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

A futtatás konfigurálása

Az Azure Machine Learning nyomon követi az MLflow által futtatásnak hívható betanítási feladatokat. Futtatásokkal rögzítheti a feladat által végrehajtott összes feldolgozást.

Interaktív munka

Amikor interaktívan dolgozik, az MLflow azonnal elkezdi nyomon követni a betanítási rutint, amint megpróbál naplózni az aktív futtatást igénylő információkat. Például amikor naplóz egy metrikát, naplóz egy paramétert, vagy amikor elindít egy betanítási ciklust, amikor a Mlflow automatikusan ki van kapcsolva. Általában azonban hasznos a futtatás explicit indítása, különösen akkor, ha a kísérlet teljes idejét szeretné rögzíteni az Időtartam mezőben. A futtatás explicit elindításához használja a következőt mlflow.start_run(): .

Függetlenül attól, hogy manuálisan indította-e el a futtatást, végül le kell állítania a futtatást, hogy tájékoztassa az MLflow-t arról, hogy a kísérletfuttatás befejeződött, és befejezettként jelöli meg az állapotát. Ehhez az összes mlflow.end_run(). Határozottan javasoljuk, hogy manuálisan indítsa el a futtatásokat, hogy ne felejtse el befejezni őket a jegyzetfüzetek használatakor.

mlflow.start_run()

# Your code

mlflow.end_run()

A futtatás befejezésének elkerülése érdekében általában hasznos a környezetkezelői paradigma használata:

with mlflow.start_run() as run:
    # Your code

Amikor új futtatásba kezd a használatával mlflow.start_run(), érdemes lehet jelezni a paramétert run_name , amely ezután a futtatás nevére fordítódik le az Azure Machine Learning felhasználói felületén, és segít a futtatás gyorsabb azonosításában:

with mlflow.start_run(run_name="hello-world-example") as run:
    # Your code

Feladatok használata

Az Azure Machine Learning-feladatok lehetővé teszik a hosszú ideig futó betanítási vagy következtetési rutinok elküldését izolált és reprodukálható végrehajtásként.

Betanítási rutin létrehozása

Feladatok használatakor általában az összes betanítási logikát egy mappába helyezi, például src. Helyezze az összes szükséges fájlt a mappába. Különösen az egyik egy Python-fájl lesz, amely a betanítási kód belépési pontjával rendelkezik. Az alábbi példa egy hello_world.py példát mutat be:

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

Az előző példakód nem használható mlflow.start_run() , de ha használja, az MLflow várhatóan újra felhasználja az aktuális aktív futtatást, így az Azure Machine Learningbe való migráláskor nem kell eltávolítani ezeket a sorokat.

Nyomon követés hozzáadása a rutinhoz

Az MLflow SDK használatával nyomon követheti a metrikákat, paramétereket, összetevőket vagy modelleket. Az egyes naplók részletes példáiért lásd: Naplómetrikák, paraméterek és fájlok MLflow-val.

Győződjön meg arról, hogy a feladat környezetében telepítve van az MLflow

Minden Azure Machine Learning-környezethez már telepítve van az MLflow, ezért válogatott környezet használata esetén nincs szükség műveletre. Ha egyéni környezetet szeretne használni:

1. Hozzon létre egy conda.yaml fájlt a szükséges függőségekkel:

   channels:
   - conda-forge
   dependencies:
   - python=3.8.5
   - pip
   - pip:
     - mlflow
     - azureml-mlflow
     - fastparquet
     - cloudpickle==1.6.0
     - colorama==0.4.4
     - dask==2.30.0
   

2. Hivatkozzon a használt feladat környezetére.

Feladat nevének konfigurálása

A futtatás nevének konfigurálásához használja az Azure Machine Learning-feladatok paraméterét display_name . Az alábbi példa bemutatja, hogyan:

1. display_name A tulajdonság használatával konfigurálhatja a feladatot.

   Azure CLI

   A feladat elküldéséhez hozzon létre egy YAML-fájlt a feladatdefiníciójával egy job.yml fájlban. Ezt a fájlt a src könyvtáron kívül kell létrehozni.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   command: echo "hello world"
   environment:
     image: library/python:latest
   tags:
     hello: world
   display_name: hello-world-example
   experiment_name: hello-world-example
   description: |
   

   Python SDK

   from azure.ai.ml import command, Environment
   
   command_job = command(
       code="src",
       command="echo "hello world",
       environment=Environment(image="library/python:latest"),
       compute="cpu-cluster",
       display_name="hello-world-example"
   )
   

2. Győződjön meg arról, hogy nem használja mlflow.start_run(run_name="") a betanítási rutint.

A feladat elküldése

1. Először kapcsolódjunk az Azure Machine Learning-munkaterülethez, ahol dolgozni fogunk.

   Azure CLI

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
   

   Python SDK

   A munkaterület az Azure Machine Learning legfelső szintű erőforrása, amely egy központi helyet biztosít az Azure Machine Learning használata során létrehozott összetevőkkel való munkához. Ebben a szakaszban ahhoz a munkaterülethez csatlakozunk, amelyben üzembe helyezési feladatokat fog végrehajtani.

   1. Importálja a szükséges kódtárakat:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   

   2. Konfigurálja a munkaterület részleteit, és szerezzen be egy leírót a munkaterülethez:

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

2. Feladat küldése

   Azure CLI

   A feladat elküldéséhez használja az Azure Machine Learning CLI-t. Az MLflow-t használó és az Azure Machine Learningben futó feladatok automatikusan naplóznak minden nyomkövetési információt a munkaterületen. Nyissa meg a terminált, és használja az alábbiakat a feladat elküldéséhez.

   az ml job create -f job.yml --web
   

   Python SDK

   A Python SDK-val küldje el a feladatot. Az MLflow-t használó és az Azure Machine Learningben futó feladatok automatikusan naplóznak minden nyomkövetési információt a munkaterületen.

   returned_job = ml_client.jobs.create_or_update(command_job)
   returned_job.studio_url
   

3. A feladatfolyamatot a Azure Machine Learning stúdió követheti nyomon.

Automatikus naplózás

Az MLflow segítségével manuálisan naplózhatja a metrikákat, paramétereket és fájlokat . Az MLflow automatikus naplózási funkciójára is támaszkodhat. Az MLflow által támogatott minden gépi tanulási keretrendszer dönti el, hogy mi legyen automatikusan nyomon követve.

Az automatikus naplózás engedélyezéséhez szúrja be a következő kódot a betanítási kód elé:

mlflow.autolog()

Metrikák és összetevők megtekintése a munkaterületen

Az MLflow-naplózásból származó metrikákat és összetevőket a rendszer a munkaterületen követi nyomon. Ha bármikor meg szeretné tekinteni őket, lépjen a munkaterületre, és keresse meg a kísérletet név szerint a munkaterületen Azure Machine Learning stúdió.

Válassza ki a naplózott metrikákat a diagramok jobb oldalon való megjelenítéséhez. A diagramok testreszabásához simítást alkalmazhat, módosíthatja a színt, vagy több metrikát ábrázolhat egyetlen gráfon. Igény szerint átméretezheti és átrendezheti az elrendezést. Miután létrehozta a kívánt nézetet, mentheti későbbi használatra, és megoszthatja csapattársaival egy közvetlen hivatkozással.

A metrikákat, paramétereket és összetevőket programozott módon is elérheti vagy lekérdezheti az MLflow SDK használatával. Használja a mlflow.get_run() a magyarázatnak megfelelően:

import mlflow

run = mlflow.get_run("<RUN_ID>")

metrics = run.data.metrics
params = run.data.params
tags = run.data.tags

print(metrics, params, tags)

Tipp

Metrikák esetében az előző példa csak egy adott metrika utolsó értékét adja vissza. Ha egy adott metrika összes értékét le szeretné kérni, használja mlflow.get_metric_history a metódust a Paraméterek és metrikák lekérése futtatásból című témakörben leírtak szerint.

A naplózott összetevők, például fájlok és modellek letöltéséhez használhatja a mlflow.artifacts.download_artifacts()

mlflow.artifacts.download_artifacts(run_id="<RUN_ID>", artifact_path="helloworld.txt")

További információ arról, hogyan lehet adatokat lekérni vagy összehasonlítani a kísérletekből és futtatásokból az Azure Machine Learningben az MLflow használatával nézet Lekérdezések & és futtatások összehasonlítása az MLflow-val

Példajegyzetfüzetek

Ha példákat keres az MLflow Jupyter-notebookokban való használatára, tekintse meg a példában az MLflow használatával (Jupyter Notebooks) adattárat.

Korlátozások

Előfordulhat, hogy az MLflow API-ban elérhető egyes módszerek nem érhetők el az Azure Machine Learninghez való csatlakozáskor. A támogatott és nem támogatott műveletekkel kapcsolatos részletekért tekintse meg a futtatások és kísérletek lekérdezésének támogatási mátrixát.

Következő lépések

• MLflow-modellek üzembe helyezése.
• Modellek kezelése az MLflow-val.