Hinzufügen einer MLflow-Experimentressource zu einer Databricks-App

Fügen Sie MLflow-Experimente als Databricks Apps-Ressourcen hinzu, um das Nachverfolgen von Maschinellen Lernexperimenten in Ihren Anwendungen zu ermöglichen. MLflow-Experimente bieten eine strukturierte Möglichkeit zum Organisieren und Protokollieren von Schulungsläufen, Nachverfolgen von Parametern, Metriken und Artefakten während des gesamten Lebenszyklus der Modellentwicklung.

Wenn Sie ein MLflow-Experiment als Ressource hinzufügen, kann Ihre App:

• Protokollieren von Trainingsläufen mit Parametern und Metriken
• Abrufen von Experimentdaten und Vergleichen der Modellleistung
• Access-Experimentmetadaten und Ausführungsverlauf
• Programmgesteuertes Verwalten des ML-Lebenszyklus

Hinzufügen einer MLflow-Experimentressource

Bevor Sie ein MLflow-Experiment als Ressource hinzufügen, überprüfen Sie die Voraussetzungen für die App-Ressource.

1. Wenn Sie eine App erstellen oder bearbeiten, navigieren Sie zum Schritt "Konfigurieren" .
2. Klicken Sie im Abschnitt "App-Ressourcen " auf +Ressource hinzufügen.
3. Wählen Sie das MLflow-Experiment als Ressourcentyp aus.
4. Wählen Sie ein MLflow-Experiment aus der Liste der verfügbaren Experimente in Ihrem Arbeitsbereich aus.
5. Wählen Sie die entsprechende Berechtigungsstufe für Ihre App aus:
   • Kann lesen: Gewährt der App die Berechtigung zum Anzeigen von Experimentmetadaten, -Läufen, -Parametern und -Metriken. Wird für Apps verwendet, die Experimentergebnisse anzeigen.
   • Kann bearbeiten: Gewährt der App die Berechtigung zum Ändern von Experimenteinstellungen und Metadaten.
   • Kann verwalten: Gewährt der App voll administrativen Zugriff auf das Experiment.
6. (Optional) Geben Sie einen benutzerdefinierten Ressourcenschlüssel an, mit dem Sie in Der App-Konfiguration auf das Experiment verweisen. Der Standardwert ist experiment.

Wenn Sie eine MLflow-Experimentressource hinzufügen:

• Azure Databricks gewährt dem Dienstprinzipal Ihrer App die angegebenen Berechtigungen für das ausgewählte Experiment.
• Die App kann Schulungsläufe protokollieren und über die MLflow-Tracking-API auf Experimentdaten zugreifen.
• Der Zugriff ist nur auf das ausgewählte Experiment beschränkt. Ihre App kann nicht auf andere Experimente zugreifen, es sei denn, Sie fügen sie als separate Ressourcen hinzu.

Umgebungsvariablen

Wenn Sie eine App mit einer MLflow-Experimentressource bereitstellen, macht Azure Databricks die Experiment-ID über Umgebungsvariablen verfügbar, auf die Sie mithilfe des valueFrom Felds in Ihrer app.yaml Konfiguration verweisen können.

Beispielkonfiguration:

env:
  - name: MLFLOW_EXPERIMENT_ID
    valueFrom: experiment # Use your custom resource key if different

Verwenden der Experiment-ID in Ihrer Anwendung:

import os
import mlflow

# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")

# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)

# Log parameters and metrics
with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.95)
    mlflow.log_artifact("model.pkl")

Weitere Informationen finden Sie unter Zugriff auf Umgebungsvariablen von Ressourcen.

Entfernen einer MLflow Experiment-Ressource

Wenn Sie eine MLflow Experiment-Ressource aus einer App entfernen, verliert der Dienstprinzipal der App den Zugriff auf das Experiment. Das Experiment selbst bleibt unverändert und ist weiterhin für andere Benutzer und Anwendungen verfügbar, die über entsprechende Berechtigungen verfügen.

Bewährte Methoden

Befolgen Sie die folgenden bewährten Methoden, wenn Sie mit MLflow-Experimentressourcen arbeiten:

• Organisieren Sie Experimente logisch nach Projekt- oder Modelltyp, um die Auffindbarkeit zu verbessern.
• Verwenden Sie konsistente Benennungskonventionen für Ausführungen und Parameter in Ihrer Organisation.
• Erwägen Sie die Experimentieraufbewahrungsrichtlinien und die Speicherverwaltung für lange laufende Projekte.