Sledování experimentů a modelů ML pomocí MLflow

V tomto článku se dozvíte, jak pomocí MLflow sledovat experimenty a spouštět se v pracovních prostorech Služby Azure Machine Learning.

Sledování je proces ukládání relevantních informací o experimentech, které spouštíte. Uložené informace (metadata) se liší podle vašeho projektu a můžou zahrnovat:

• Kód
• Podrobnosti o prostředí (například verze operačního systému, balíčky Pythonu)
• Vstupní data
• Konfigurace parametrů
• Modely
• Metriky vyhodnocení
• Vizualizace vyhodnocení (například matrice záměny, grafy důležitosti)
• Výsledky vyhodnocení (včetně některých předpovědí vyhodnocení)

Když pracujete s úlohami ve službě Azure Machine Learning, Azure Machine Learning automaticky sleduje některé informace o experimentech, jako je kód, prostředí a vstupní a výstupní data. Pro ostatní, jako jsou modely, parametry a metriky, ale tvůrce modelů musí nakonfigurovat sledování, protože jsou specifické pro konkrétní scénář.

Poznámka:

Pokud chcete sledovat experimenty spuštěné v Azure Databricks, přečtěte si téma Sledování experimentů Azure Databricks ML pomocí MLflow a Azure Machine Learning. Další informace o sledování experimentů spuštěných ve službě Azure Synapse Analytics najdete v tématu Sledování experimentů ML služby Azure Synapse Analytics pomocí MLflow a Azure Machine Learning.

Výhody sledování experimentů

Důrazně doporučujeme, aby odborníci na strojové učení sledovali experimenty bez ohledu na to, jestli trénujete úlohy ve službě Azure Machine Learning nebo interaktivně trénujete v poznámkových blocích. Sledování experimentů umožňuje:

• Uspořádejte všechny experimenty strojového učení na jednom místě. Pak můžete experimenty prohledávat a filtrovat a procházet k podrobnostem o experimentech, které jste spustili dříve.
• Porovnejte experimenty, analyzujte výsledky a laďte trénování modelu s trochou další práce.
• Reprodukujte nebo znovu spusťte experimenty, abyste ověřili výsledky.
• Vylepšete spolupráci, protože můžete zjistit, co dělají ostatní členové týmu, sdílet výsledky experimentů a přistupovat k datům experimentů prostřednictvím kódu programu.

Proč používat MLflow ke sledování experimentů?

Pracovní prostory Azure Machine Learning jsou kompatibilní s MLflow, což znamená, že můžete pomocí MLflow sledovat běhy, metriky, parametry a artefakty v pracovních prostorech Služby Azure Machine Learning. Hlavní výhodou použití MLflow ke sledování je, že nemusíte měnit trénovací rutiny pro práci se službou Azure Machine Learning nebo vkládání jakékoli syntaxe specifické pro cloud.

Další informace o všech podporovaných funkcích MLflow a Azure Machine Learning najdete v tématu MLflow a Azure Machine Learning.

Omezení

Některé metody dostupné v rozhraní API MLflow nemusí být při připojení ke službě Azure Machine Learning dostupné. Podrobnosti o podporovaných a nepodporovaných operacích najdete v matici podpory pro dotazování spuštění a experimentů.

Požadavky

• Předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet. Vyzkoušejte bezplatnou nebo placenou verzi služby Azure Machine Learning.

• Nainstalujte balíček mlflow MLflow SDK a modul plug-in Azure Machine Learning azureml-mlflow pro MLflow:

  pip install mlflow azureml-mlflow
  

  Tip

  Můžete použít mlflow-skinny balíček, což je jednoduchý balíček MLflow bez závislostí sql Storage, serveru, uživatelského rozhraní nebo datových věd. mlflow-skinny se doporučuje uživatelům, kteří primárně potřebují funkce sledování a protokolování MLflow bez importu celé sady funkcí, včetně nasazení.

• Pracovní prostor služby Azure Machine Learning. Pokud chcete vytvořit pracovní prostor, přečtěte si kurz Vytvoření prostředků strojového učení. Zkontrolujte přístupová oprávnění, která potřebujete k provádění operací MLflow ve vašem pracovním prostoru.

• Pokud provádíte vzdálené sledování (to znamená sledování experimentů spuštěných mimo Azure Machine Learning), nakonfigurujte MLflow tak, aby ukazoval na identifikátor URI sledování pracovního prostoru Azure Machine Learning. Další informace o připojení MLflow k pracovnímu prostoru najdete v tématu Konfigurace MLflow pro Azure Machine Learning.

Konfigurace experimentu

MLflow organizuje informace v experimentech a spuštěních (spuštění se nazývají úlohy ve službě Azure Machine Learning). Ve výchozím nastavení se spuštění protokolují do experimentu s názvem Výchozí , který se automaticky vytvoří za vás. Můžete nakonfigurovat experiment, ve kterém probíhá sledování.

Interaktivní práce

Pro interaktivní trénování, například v poznámkovém bloku Jupyter, použijte příkaz mlflow.set_experiment()MLflow . Například následující fragment kódu konfiguruje experiment:

experiment_name = 'hello-world-example'
mlflow.set_experiment(experiment_name)

Práce s úlohami

Pokud chcete odesílat úlohy, nastavte při použití rozhraní příkazového řádku nebo sady SDK služby Azure Machine Learning název experimentu pomocí experiment_name vlastnosti úlohy. V trénovacím skriptu ho nemusíte konfigurovat.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |

Konfigurace spuštění

Azure Machine Learning sleduje jakoukoli trénovací úlohu v tom, co MLflow volá spuštění. Pomocí spuštění zachyťte veškeré zpracování, které vaše úloha provádí.

Interaktivní práce

Když pracujete interaktivně, MLflow začne sledovat trénovací rutinu hned, jak se pokusíte protokolovat informace, které vyžadují aktivní spuštění. Sledování MLflow se například spustí při protokolování metriky, parametru nebo spuštění trénovacího cyklu a funkce automatického protokolování Mlflow je povolená. Obvykle je ale užitečné spustit spuštění explicitně, speciálně pokud chcete zachytit celkový čas experimentu v poli Doba trvání . Chcete-li spustit spuštění explicitně, použijte mlflow.start_run().

Bez ohledu na to, jestli spuštění spustíte ručně nebo ne, budete nakonec muset spuštění zastavit, aby MLflow věděl, že je spuštění experimentu hotové a může označit stav spuštění jako Dokončeno. Chcete-li zastavit spuštění, použijte mlflow.end_run().

Důrazně doporučujeme spustit spuštění ručně, abyste je při práci v poznámkových blocích nezapomněli ukončit.

• Pokud chcete spustit spuštění ručně a ukončit ho po dokončení práce v poznámkovém bloku:

  mlflow.start_run()
  
  # Your code
  
  mlflow.end_run()
  

• Obvykle je užitečné použít paradigma kontextového manažera, které vám pomůže zapamatovat si ukončení spuštění:

  with mlflow.start_run() as run:
      # Your code
  

• Když spustíte nové spuštění pomocí mlflow.start_run(), může být užitečné zadat run_name parametr, který se později přeloží na název spuštění v uživatelském rozhraní služby Azure Machine Learning a pomůže vám rychleji identifikovat spuštění:

  with mlflow.start_run(run_name="hello-world-example") as run:
      # Your code
  

Práce s úlohami

Úlohy Azure Machine Learning umožňují odesílat dlouhotrvající trénovací rutiny nebo rutiny odvozování jako izolované a reprodukovatelné spouštění.

Vytvoření rutiny trénování

Při práci s úlohami obvykle umístíte veškerou trénovací logiku jako soubory do složky, například src. Jedním z těchto souborů je soubor Pythonu s vaším vstupním bodem trénovacího kódu. Následující příklad ukazuje hello_world.py příklad:

# imports
import os
import mlflow

from random import random

# define functions
def main():
    mlflow.log_param("hello_param", "world")
    mlflow.log_metric("hello_metric", random())
    os.system(f"echo 'hello world' > helloworld.txt")
    mlflow.log_artifact("helloworld.txt")


# run functions
if __name__ == "__main__":
    # run main function
    main()

Předchozí příklad kódu se nepoužívá mlflow.start_run() , ale pokud se použije, MLflow znovu použije aktuální aktivní spuštění. Proto nemusíte odebrat řádek, který se používá mlflow.start_run() , pokud migrujete kód do služby Azure Machine Learning.

Přidání sledování do rutiny

Pomocí sady MLflow SDK můžete sledovat všechny metriky, parametry, artefakty nebo modely. Příklady, jak tyto protokoly protokolovat, najdete v tématu Metriky protokolu, parametry a soubory pomocí MLflow.

Ujistěte se, že prostředí vaší úlohy má nainstalované MLflow.

Všechna prostředí Azure Machine Learning už mají nainstalované MLflow, takže pokud používáte kurátorované prostředí, nevyžaduje se žádná akce. Pokud ale chcete použít vlastní prostředí:

1. Vytvořte conda.yaml soubor se závislostmi, které potřebujete:

   channels:
   - conda-forge
   dependencies:
   - python=3.8.5
   - pip
   - pip:
     - mlflow
     - azureml-mlflow
     - fastparquet
     - cloudpickle==1.6.0
     - colorama==0.4.4
     - dask==2023.2.0
   

2. Odkazujte na prostředí v úloze, kterou používáte.

Konfigurace názvu úlohy

Pomocí parametru display_name úloh Azure Machine Learning nakonfigurujte název spuštění.

1. display_name Pomocí vlastnosti nakonfigurujte úlohu.

   Azure CLI

   Pokud chcete úlohu odeslat, vytvořte soubor YAML s definicí úlohy v job.yml souboru. Tento soubor by se měl vytvořit mimo src adresář.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   command: echo "hello world"
   environment:
     image: library/python:latest
   tags:
     hello: world
   display_name: hello-world-example
   experiment_name: hello-world-example
   description: |
   

   Python SDK

   from azure.ai.ml import command, Environment
   
   command_job = command(
       code="src",
       command="echo "hello world",
       environment=Environment(image="library/python:latest"),
       compute="cpu-cluster",
       display_name="hello-world-example"
   )
   

2. Ujistěte se, že nepoužíváte mlflow.start_run(run_name="") v rámci trénovací rutiny.

Odeslání úlohy

1. Nejprve se připojte k pracovnímu prostoru Azure Machine Learning, kde budete pracovat.

   Azure CLI

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
   

   Python SDK

   Pracovní prostor je prostředek nejvyšší úrovně pro Azure Machine Learning, který nabízí centralizované místo, kde můžete pracovat se všemi artefakty, které vytvoříte při použití služby Azure Machine Learning. V této části se připojíte k pracovnímu prostoru, kde budete provádět úlohy nasazení.

   1. Import požadovaných knihoven:

      from azure.ai.ml import MLClient
      from azure.identity import DefaultAzureCredential
      

   2. Nakonfigurujte podrobnosti pracovního prostoru a získejte popisovač pracovního prostoru:

      subscription_id = "<subscription>"
      resource_group = "<resource-group>"
      workspace = "<workspace>"
      
      ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
      

2. Odeslání úlohy

   Azure CLI

   K odeslání úlohy použijte rozhraní příkazového řádku služby Azure Machine Learning. Úlohy, které používají MLflow a spouští se ve službě Azure Machine Learning, automaticky protokolují všechny informace o sledování do pracovního prostoru. Otevřete terminál a pomocí následujícího kódu odešlete úlohu.

   az ml job create -f job.yml --web
   

   Python SDK

   K odeslání úlohy použijte sadu Python SDK. Úlohy, které používají MLflow a spouští se ve službě Azure Machine Learning, automaticky protokolují všechny informace o sledování do pracovního prostoru.

   returned_job = ml_client.jobs.create_or_update(command_job)
   returned_job.studio_url
   

3. Sledujte průběh úlohy v studio Azure Machine Learning.

Povolení automatickéhologování MLflow

Metriky, parametry a soubory můžete protokolovat ručně pomocí MLflow . Můžete se ale také spolehnout na funkci automatického protokolování MLflow. Každá architektura strojového učení podporovaná MLflow rozhoduje, co se má automaticky sledovat za vás.

Pokud chcete povolit automatické protokolování, vložte před trénovací kód následující kód:

mlflow.autolog()

Zobrazení metrik a artefaktů v pracovním prostoru

Metriky a artefakty z protokolování MLflow se sledují ve vašem pracovním prostoru. Můžete je zobrazit a přistupovat k nim v sadě Studio kdykoli nebo k nim přistupovat programově prostřednictvím sady MLflow SDK.

Zobrazení metrik a artefaktů v sadě Studio:

1. Přejděte na studio Azure Machine Learning.

2. Přejděte do svého pracovního prostoru.

3. Vyhledejte experiment podle názvu v pracovním prostoru.

4. Vyberte protokolované metriky pro vykreslení grafů na pravé straně. Grafy můžete přizpůsobit použitím vyhlazení, změnou barvy nebo vykreslením více metrik v jednom grafu. Můžete také změnit velikost a změnit uspořádání rozložení podle potřeby.

5. Jakmile vytvoříte požadované zobrazení, uložte ho pro budoucí použití a nasdílejte ho s ostatními členy týmu pomocí přímého odkazu.

   

Pokud chcete prostřednictvím sady MLflow SDK programově přistupovat k metrikám, parametrům a artefaktům, použijte mlflow.get_run().

import mlflow

run = mlflow.get_run("<RUN_ID>")

metrics = run.data.metrics
params = run.data.params
tags = run.data.tags

print(metrics, params, tags)

Tip

U metrik vrátí předchozí ukázkový kód pouze poslední hodnotu dané metriky. Pokud chcete načíst všechny hodnoty dané metriky, použijte metodu mlflow.get_metric_history . Další informace o načítání hodnot metriky najdete v tématu Získání parametrů a metrik ze spuštění.

Pokud chcete stáhnout artefakty, které jste protokolovali, například soubory a modely, použijte mlflow.artifacts.download_artifacts().

mlflow.artifacts.download_artifacts(run_id="<RUN_ID>", artifact_path="helloworld.txt")

Další informace o tom, jak načíst nebo porovnat informace z experimentů a spuštění ve službě Azure Machine Learning pomocí MLflow, najdete v tématu Dotazování a porovnání experimentů a spuštění pomocí MLflow.

Související obsah

• Nasazení modelů MLflow
• Správa modelů pomocí MLflow
• Použití MLflow (poznámkové bloky Jupyter)