Organisieren von Trainingsausführungen mit MLflow-Experimenten

Bei Experimenten handelt es sich um Organisationseinheiten für Ihre Modelltrainingsausführungen. Es gibt zwei Typen von Experimenten: Arbeitsbereich und Notebook.

• Sie können ein Arbeitsbereichsexperiment über die Databricks Mosaic KI-Benutzeroberfläche oder die MLflow-API erstellen. Arbeitsbereichsexperimente sind keinem Notebook zugeordnet, und jedes Notebook kann eine Ausführung für diese Experimente mithilfe der Experiment-ID oder des Experimentnamens protokollieren.
• Ein Notebookexperiment ist einem bestimmten Notebook zugeordnet. Azure Databricks erstellt automatisch ein Notebookexperiment, wenn beim Starten einer Ausführung mithilfe des Befehls mlflow.start_run() kein aktives Experiment vorhanden ist.

Klicken Sie auf der Seitenleiste auf Machine Learning > Experimente, um alle Experimente in einem Arbeitsbereich anzeigen, auf die Sie Zugriff haben.

Arbeitsbereichsexperiment erstellen

In diesem Abschnitt wird beschrieben, wie Sie ein Arbeitsbereichsexperiment mithilfe der Azure Databricks--Benutzeroberfläche erstellen. Sie können ein Arbeitsbereichsexperiment direkt im Arbeitsbereich oder auf der Seite „Experimente“ erstellen.

Sie können auch die MLflow-API oder den Databricks-Terraform-Anbieter mit databricks_mlflow_experiment verwenden.

Anweisungen zum Protokollieren von Durchläufen und Modellen in Arbeitsbereichsexperimenten finden Sie unter Durchläufe und Modelle in ein Experiment protokollieren.

Erstellen eines Experiments aus dem Arbeitsbereich

1. Klicken Sie in der Randleiste auf Arbeitsbereich.

2. Navigieren Sie zu dem Ordner, in dem Sie das Experiment erstellen möchten.

3. Klicken Sie mit der rechten Maustaste auf den Ordner, und wählen Sie Erstellen > MLflow-Experiment aus.

4. Geben Sie im Dialogfeld „MLflow-Experiment erstellen“ einen Namen für das Experiment und einen optionalen Artefaktspeicherort ein. Wenn Sie keinen Artefaktspeicherort angeben, werden Artefakte im vom MLflow verwalteten Artefaktspeicher gespeichert: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Azure Databricks unterstützt Unity-Katalogvolumes, Azure Blob Storage und Azure Data Lake-Speicherartefaktespeicherorte.

   In MLflow 2.15.0 und höher können Sie Artefakte in einem Unity-Katalogvolume speichern. Wenn Sie ein MLflow-Experiment erstellen, geben Sie einen Volumespfad des Formulars dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path als Artefaktspeicherort des MLflow-Experiments an, wie im folgenden Code gezeigt:

   EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
   CATALOG = "my_catalog"
   SCHEMA = "my_schema"
   VOLUME = "my_volume"
   ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}"
   
   mlflow.set_tracking_uri("databricks")
   mlflow.set_registry_uri("databricks-uc")
   
   if mlflow.get_experiment_by_name(EXP_NAME) is None:
       mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
   mlflow.set_experiment(EXP_NAME)
   

   Um Artefakte in Azure Blob Storage zu speichern, geben Sie einen URI im Formular wasbs://<container>@<storage-account>.blob.core.windows.net/<path> an. In Azure Blob Storage gespeicherte Artefakte werden nicht auf der MLflow-Benutzeroberfläche angezeigt. Sie müssen sie mithilfe eines Blob Storage-Clients herunterladen.

   Hinweis

   Wenn Sie ein Artefakt an einem anderen Speicherort als DBFS speichern, wird das Artefakt nicht auf der MLflow-Benutzeroberfläche angezeigt. Modelle, die an anderen Speicherorten als DBFS gespeichert sind, können nicht in der Modellregistrierung registriert werden.

5. Klicken Sie auf Erstellen. Die Detailseite des Experiments für das neue Experiment wird angezeigt.

6. Um Experimentausführungen zu protokollieren, rufen Sie mlflow.set_experiment() mit dem Experimentpfad auf. Wenn Sie den Pfad des Experiments anzeigen möchten, klicken Sie auf das Informationssymbol rechts neben dem Namen des Experiments. Details und ein Beispielnotizbuch finden Sie unter Protokollausführungen und Modelle für ein Experiment .

Erstellen eines Experiments auf der Seite "Experimente"

Um ein Foundation-Modell anzupassen, AutoML oder ein benutzerdefiniertes Experiment zu erstellen, klicken Sie auf Experimente oder wählen Sie Neues > Experiment in der linken Seitenleiste.

Wählen Sie oben auf der Seite eine der folgenden Optionen aus, um ein Experiment zu konfigurieren:

• Feinabstimmung des Foundation-Modells. Das Dialogfeld " Optimieren des Foundation-Modells " wird angezeigt. Ausführliche Informationen finden Sie unter Erstellen eines Schulungslaufs mithilfe der Foundation Model Fine-Tuning UI.
• Prognose. Das Dialogfeld "Prognoseexperiment konfigurieren " wird angezeigt. Ausführliche Informationen finden Sie unter Konfigurieren des AutoML-Experiments.
• Klassifizierung. Das Dialogfeld "Klassifizierungsexperiment konfigurieren " wird angezeigt. Ausführliche Informationen finden Sie unter Einrichten des Klassifizierungsexperiments mit der Benutzeroberfläche.
• Regression. Das Dialogfeld "Klassifizierungsexperiment konfigurieren " wird angezeigt. Ausführliche Informationen finden Sie unter Einrichten des Regressionsexperiments mit der Benutzeroberfläche.
• Benutzerdefiniert. Das Dialogfeld MLflow-Experiment erstellen wird angezeigt. Ausführliche Informationen finden Sie in Schritt 4 im Erstellen eines Experiments aus dem Arbeitsbereich.

Erstellen eines Notizbuchexperiments

Wenn Sie den Befehl mlflow.start_run() in einem Notebook verwenden, protokolliert die Ausführung Metriken und Parameter im aktiven Experiment. Wenn kein Experiment aktiv ist, erstellt Azure Databricks ein Notebookexperiment. Ein Notebookexperiment hat den gleichen Namen und dieselbe ID wie das entsprechende Notebook. Die Notebook-ID ist der numerische Bezeichner am Ende einer Notebook-URL und -ID.

Hinweis

Benutzer, die MLflow auf der Berechnung mit dediziertem Gruppenzugriff ausführen, müssen überprüfen, ob die Gruppe über die Berechtigung zum Schreiben in das Verzeichnis verfügt, in das sich das Notizbuch befindet, oder einen mlflow.set_tracking_uri("<path>") Ordner für MLflow angeben, in das geschrieben werden soll.

Alternativ können Sie einen Azure Databricks-Arbeitsbereichspfad an ein vorhandenes Notebook in mlflow.set_experiment() übergeben, um ein Notebook-Experiment dafür zu erstellen.

Anweisungen zum Protokollieren von Notizbuchexperimenten finden Sie unter Protokollausführungen und Modelle für ein Experiment.

Hinweis

Wenn Sie ein Notebookexperiment mithilfe der API löschen (z. B MlflowClient.tracking.delete_experiment() in Python), wird das Notebook selbst in den Ordner „Papierkorb“ verschoben.

Anzeigen von Experimenten

Jedes Experiment, auf das Sie Zugriff haben, wird auf der Seite Experimente angezeigt. Auf dieser Seite können Sie ein beliebiges Experiment anzeigen. Klicken Sie auf einen Experimentnamen, um die Detailseite des Experiments anzuzeigen.

Weitere Möglichkeiten für den Zugriff auf die Detailseite des Experiments:

• Sie können über das Arbeitsbereichsmenü auf die Detailseite für ein Arbeitsbereichsexperiment zugreifen.
• Sie können über das Notizbuch auf die Detailseite für ein Notizbuchexperiment zugreifen.

Um nach Experimenten zu suchen, geben Sie Text in das Feld Experimente filtern ein, und drücken Sie die EINGABETASTE, oder klicken Sie auf das Lupensymbol. Die Experimentliste ändert sich so, dass nur die Experimente angezeigt werden, die den Suchtext in der Spalte Name, Erstellt von, Speicherort oder Beschreibung enthalten.

Klicken Sie auf den Namen eines Experiments in der Tabelle, um die Detailseite des Experiments anzuzeigen:

Auf der Detailseite des Experiments werden alle Läufe aufgelistet, die dem Experiment zugeordnet sind. In der Tabelle können Sie die Ausführungsseite für jede Ausführung öffnen, die dem Experiment zugeordnet ist, indem Sie auf den Ausführungsnamen klicken. In der Spalte Quelle erhalten Sie Zugriff auf die Notebookversion, die die Ausführung erstellt hat. Sie können auch Metriken oder Parametereinstellungen verwenden, um Ausführungen zu suchen und zu filtern.

Anzeigen von Arbeitsbereichsexperimenten

1. Klicken Sie in der Randleiste auf Arbeitsbereich.
2. Gehen Sie zum Ordner mit dem Experiment.
3. Klicken Sie auf den Namen des Experiments.

Anzeigen von Notebookexperimenten

Klicken Sie auf der rechten Randleiste des Notizbuchs auf das Symbol .

Die Seitenleiste „Experimentausführungen“ wird mit einer Zusammenfassung der einzelnen Ausführungen angezeigt, die dem Notebookexperiment zugeordnet sind, einschließlich Ausführungsparametern und Metriken. Am oberen Rand der Seitenleiste befindet sich der Name des Experiments, in dem das Notebook zuletzt Ausführungen protokolliert hat (entweder ein Notebookexperiment oder ein Arbeitsbereichsexperiment).

Auf der Randleiste können Sie zur Detailseite des Experiments oder direkt zu einer Ausführung navigieren.

• Um das Experiment anzuzeigen, klicken Sie ganz rechts neben External LinkExperimentausführungen auf .
• Klicken Sie zum Anzeigen einer Ausführung auf den Namen der Ausführung.

Verwalten von Experimenten

Sie können Berechtigungen für ein Experiment umbenennen, löschen oder verwalten, das Sie auf der Experimentseite, auf der Detailseite des Experiments oder im Arbeitsbereichsmenü besitzen.

Hinweis

Sie können Berechtigungen für ein MLflow-Experiment, das von einem Notebook in einem Databricks Git-Ordner erstellt wurde, nicht direkt umbenennen, löschen oder verwalten. Sie müssen diese Aktionen auf Git-Ordnerebene ausführen.

Experiment umbenennen

Sie können ein Experiment, das Sie besitzen, auf der Experimente-Seite oder auf der Detailseite des jeweiligen Experiments umbenennen.

• Klicken Sie auf der Seite "Experimente " auf das Klicken Sie in der spalte ganz rechts auf das Menüsymbol "Kebab", und klicken Sie dann auf "Umbenennen".

• Klicken Sie auf der Detailseite des Experiments auf das Kebab-Menüsymbol neben "Berechtigungen" und klicken Sie dann auf Umbenennen.

Sie können ein Arbeitsbereichsexperiment aus dem Arbeitsbereich umbenennen. Klicken Sie mit der rechten Maustaste auf den Namen des Experiments, und klicken Sie dann auf Umbenennen.

Experiment-ID und Pfad zum Experiment abrufen

Auf der Detailseite des Experiments können Sie den Pfad zu einem Notizbuchexperiment abrufen, indem Sie rechts neben dem Namen des Experiments auf das . Eine Popupnotiz wird angezeigt, die den Pfad zum Experiment, die Experiment-ID und den Artefaktspeicherort anzeigt. Sie können die Experiment-ID im MLflow-Befehl set_experiment verwenden, um das aktive MLflow-Experiment festzulegen.

In einem Notizbuch können Sie den vollständigen Pfad des Experiments kopieren, indem Sie in der Experiment-Randleiste des Notizbuchs auf das klicken.

Löschen von Notebookexperimenten

Notebookexperimente sind Teil des Notebooks und können nicht separat gelöscht werden. Wenn Sie ein Notebook löschen, wird das zugehörige Notebookexperiment gelöscht. Wenn Sie ein Notebookexperiment über die Benutzeroberfläche löschen, wird das Notebook ebenfalls gelöscht.

Verwenden Sie zum Löschen von Notebookexperimenten mithilfe der API die Arbeitsbereichs-API, um sicherzustellen, dass sowohl das Notebook als auch das Experiment aus dem Arbeitsbereich gelöscht werden.

Löschen eines Arbeitsbereichs oder eines Notizbuchexperiments

Sie können ein Experiment, das Sie besitzen, von der Experimentseite oder von der Detailseite des Experiments löschen.

Wichtig

Wenn Sie ein Notebookexperiment löschen, wird das Notebook ebenfalls gelöscht.

• Klicken Sie auf der Seite "Experimente " auf das Klicken Sie in der spalte ganz rechts auf das Kebab-Menüsymbol, und klicken Sie dann auf "Löschen".

• Klicken Sie auf der Detailseite des Experiments auf das Klicken Sie neben "Berechtigungen" auf das Kebab-Menüsymbol, und klicken Sie dann auf "Löschen".

Sie können ein Arbeitsbereichsexperiment aus dem Arbeitsbereich löschen. Klicken Sie mit der rechten Maustaste auf den Namen des Experiments, und klicken Sie dann auf "In Papierkorb verschieben".

Ändern von Berechtigungen für ein Experiment

Wenn Sie berechtigungen für ein Experiment auf der Detailseite des Experiments ändern möchten, klicken Sie auf "Berechtigungen".

Sie können berechtigungen für ein Experiment ändern, das Sie auf der Seite "Experimente" besitzen. Klicken Sie auf das Klicken Sie in der spalte ganz rechts auf das Kebab-Menüsymbol, und klicken Sie dann auf "Berechtigungen".

Informationen zu Experimentberechtigungsebenen finden Sie unter Zugriffssteuerungslisten für MLFlow-Experimente.

Kopieren von Experimenten zwischen Arbeitsbereichen

Um MLflow-Experimente zwischen Arbeitsbereichen zu migrieren, können Sie das communitygesteuerte Open Source Projekt MLflow Export-Import verwenden.

Mit diesen Tools können Sie folgende Aktionen ausführen:

• Teilen und Zusammenarbeiten mit anderen wissenschaftlichen Fachkräften für Daten auf demselben oder einem anderen Nachverfolgungsserver. Sie können beispielsweise ein Experiment von einem anderen Benutzer in Ihren Arbeitsbereich klonen.
• Kopieren von MLflow-Experimenten und Ausführen dieser Experimente auf Ihrem lokalen Nachverfolgungsserver in Ihren Databricks-Arbeitsbereich.
• Sichern von unternehmenskritischen Experimenten und Modellen in einem anderen Databricks-Arbeitsbereich.