Přidání prostředku experimentu MLflow do aplikace Databricks

Přidejte experimenty MLflow jako prostředky Databricks Apps, které umožňují sledování experimentů pro vaše aplikace, agenty, LLM a modely ML. Experimenty MLflow poskytují strukturovaný způsob uspořádání a protokolování spuštění, sledování parametrů, metrik a artefaktů v průběhu životního cyklu vývoje aplikací AI.

Když přidáte experiment MLflow jako prostředek, vaše aplikace může:

  • Odstraňování chyb agentů a aplikací LLM pomocí trasování spuštění
  • Vyhodnoťte kvalitu aplikace agenta a LLM pomocí hodnotících nástrojů.
  • Správa a verzování šablon výzev pro aplikace LLM.
  • Zaznamenejte průběhy tréninku modelu ML s parametry, metrikami a artefakty
  • Načtení dat experimentu, metadat a historie spuštění

Přidejte prostředek experimentu MLflow

Než přidáte experiment MLflow jako prostředek, projděte si požadavky na prostředek aplikace.

  1. V části Prostředky aplikace při vytváření nebo úpravě aplikace klikněte na + Přidat prostředek>experiment MLflow.
  2. V seznamu dostupných experimentů v pracovním prostoru vyberte experiment MLflow.
  3. Vyberte odpovídající úroveň oprávnění pro vaši aplikaci:
    • Může číst: Udělí aplikaci oprávnění k zobrazení metadat experimentu, spuštění, parametrů a metrik. Používá se pro aplikace, které zobrazují výsledky experimentu.
    • Může upravit: Udělí aplikaci oprávnění ke změně nastavení experimentu a metadat.
    • Může spravovat: Udělí aplikaci úplný přístup správce k experimentu.
  4. (Volitelné) Zadejte vlastní klíč prostředku, což je způsob, jakým odkazujete na experiment v konfiguraci aplikace. Výchozí klíč je experiment.

Když přidáte prostředek experimentu MLflow:

  • Azure Databricks udělí aplikaci service principal zadaná oprávnění k vybranému experimentu.
  • Aplikace může protokolovat spuštění trénování a přistupovat k datům experimentu prostřednictvím rozhraní API pro sledování MLflow.
  • Přístup je vymezen pouze na vybraný experiment. Aplikace nemá přístup k jiným experimentům, pokud je nepřidáte jako samostatné prostředky.

Proměnné prostředí

Když nasadíte aplikaci s prostředkem experimentu MLflow, Azure Databricks zveřejní ID experimentu prostřednictvím proměnných prostředí, na které můžete odkazovat pomocí pole valueFrom v konfiguraci app.yaml.

Příklad konfigurace:

env:
  - name: MLFLOW_EXPERIMENT_ID
    valueFrom: experiment # Use your custom resource key if different

Použití ID experimentu ve vaší aplikaci:

import os
import mlflow

# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")

# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)

# Log parameters and metrics
with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.95)
    mlflow.log_artifact("model.pkl")

Další informace najdete v tématu Přístup k proměnným prostředí z prostředků.

Odstraňte prostředek experimentu MLflow

Když z aplikace odeberete prostředek experimentu MLflow, služební principál aplikace ztratí přístup k experimentu. Samotný experiment zůstane beze změny a bude nadále dostupný pro ostatní uživatele a aplikace, které mají příslušná oprávnění.

Osvědčené postupy

Při práci s prostředky experimentu MLflow postupujte podle těchto osvědčených postupů:

  • Uspořádejte experimenty logicky podle projektu nebo typu modelu, aby se zlepšila zjistitelnost.
  • Konzistentně používejte pojmenovávací konvence pro spuštění a parametry v celé organizaci.
  • Zvažte zásady uchovávání experimentů a správu úložiště pro dlouhotrvající projekty.
  • Last updated on