Een MLflow-experimentresource toevoegen aan een Databricks-app

Voeg MLflow-experimenten toe als Databricks Apps-resources om machine learning-experimenten bij te houden in uw toepassingen. MLflow-experimenten bieden een gestructureerde manier om trainingsuitvoeringen te organiseren en te registreren, parameters, metrische gegevens en artefacten bij te houden gedurende de levenscyclus van de modelontwikkeling.

Wanneer u een MLflow-experiment als resource toevoegt, kan uw app het volgende doen:

• Trainingssessies loggen met parameters en meetgegevens
• Experimentgegevens ophalen en modelprestaties vergelijken
• Metagegevens van experimenten en uitvoeringsgeschiedenis openen
• De ML-levenscyclus programmatisch beheren

Een MLflow-experimentresource toevoegen

Voordat u een MLflow-experiment als resource toevoegt, controleert u de vereisten voor de app-resource.

1. Wanneer u een app maakt of bewerkt, gaat u naar de stap Configureren .
2. Klik in de sectie App-resources op + Resource toevoegen.
3. Selecteer MLflow-experiment als het resourcetype.
4. Kies een MLflow-experiment in de lijst met beschikbare experimenten in uw werkruimte.
5. Selecteer het juiste machtigingsniveau voor uw app:
   • Kan lezen: Verleent de app toestemming om metagegevens van experimenten, uitvoeringen, parameters en metrische gegevens weer te geven. Gebruiken voor apps die experimentresultaten weergeven.
   • Kan bewerken: Verleent de app toestemming om experimentinstellingen en metagegevens te wijzigen.
   • Kan het volgende beheren: Verleent de app volledige beheerderstoegang tot het experiment.
6. (Optioneel) Geef een aangepaste resourcesleutel op. Dit is de wijze waarop u naar het experiment in uw app-configuratie verwijst. De standaardsleutel is experiment.

Wanneer u een MLflow-experimentresource toevoegt:

• Azure Databricks verleent de service-principal van uw app de opgegeven machtigingen voor het geselecteerde experiment.
• De app kan trainingsuitvoeringen registreren en toegang krijgen tot experimentgegevens via de MLflow Tracking-API.
• Access is alleen beperkt tot het geselecteerde experiment. Uw app heeft geen toegang tot andere experimenten, tenzij u ze toevoegt als afzonderlijke resources.

Omgevingsvariabelen

Wanneer u een app met een MLflow-experimentresource implementeert, maakt Azure Databricks de experiment-id beschikbaar via omgevingsvariabelen waarnaar u kunt verwijzen met behulp van het valueFrom veld in uw app.yaml configuratie.

Voorbeeldconfiguratie:

env:
  - name: MLFLOW_EXPERIMENT_ID
    valueFrom: experiment # Use your custom resource key if different

Gebruik de experiment-id in uw toepassing:

import os
import mlflow

# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")

# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)

# Log parameters and metrics
with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.95)
    mlflow.log_artifact("model.pkl")

Zie Toegang tot omgevingsvariabelen vanuit resources voor meer informatie.

Een MLflow Experiment-resource verwijderen

Wanneer u een MLflow Experiment-resource uit een app verwijdert, verliest de service-principal van de app de toegang tot het experiment. Het experiment zelf blijft ongewijzigd en blijft beschikbaar voor andere gebruikers en toepassingen met de juiste machtigingen.

Beste praktijken

Volg deze aanbevolen procedures wanneer u met MLflow-experimentbronnen werkt:

• Organiseer experimenten logisch op project- of modeltype om de zichtbaarheid te verbeteren.
• Gebruik consistente naamconventies voor uitvoeringen en parameters in uw organisatie.
• Overweeg bewaarbeleid voor experimenten en opslagbeheer voor langlopende projecten.