Organización de ejecuciones de entrenamiento con experimentos de MLflow

Los experimentos son unidades de organización para las ejecuciones de entrenamiento del modelo. Hay dos tipos de experimentos: de área de trabajo y de cuaderno.

• Puede crear un experimento de área de trabajo desde la interfaz de usuario de Databricks Mosaic AI o desde la API de MLflow. Los experimentos de área de trabajo no están asociados a ningún cuaderno y cualquier cuaderno puede registrar una ejecución en estos experimentos mediante el identificador del experimento o el nombre del experimento.
• Un experimento de cuaderno está asociado a un cuaderno específico. Azure Databricks crea automáticamente un experimento de cuaderno si no hay ningún experimento activo al iniciar una ejecución mediante mlflow.start_run().

Para ver todos los experimentos accesibles de un área de trabajo, seleccione Machine Learning > Experimentos en la barra lateral.

Creación de un experimento de área de trabajo

En esta sección se describe cómo crear un experimento de área de trabajo mediante la interfaz de usuario de Azure Databricks. Puede crear un experimento de área de trabajo directamente desde el área de trabajo o desde la página Experimentos.

También puede usar la API de MLflow o el proveedor de Databricks Terraform con databricks_mlflow_experiment.

Para obtener instrucciones sobre cómo registrar ejecuciones en experimentos del área de trabajo, consulte Registrar ejecuciones y modelos en un experimento.

Creación de un experimento desde el área de trabajo

1. Haga clic en Área de trabajo en la barra lateral.

2. Vaya a la carpeta en la que quiere crear el experimento.

3. Haga clic con el botón derecho en la carpeta y seleccione Crear > Experimento de MTflow.

4. En el cuadro de diálogo Create MLflow Experiment (Crear experimento de MLflow), escriba un nombre para el experimento y una ubicación de artefacto opcional. Si no especifica una ubicación de artefacto, los artefactos se almacenan en el almacenamiento de artefactos administrados por MLflow: dbfs:/databricks/mlflow-tracking/<experiment-id>.

   Azure Databricks admite volúmenes de Unity Catalog, Azure Blob Storage y ubicaciones de artefactos de Azure Data Lake Storage.

   En MLflow 2.15.0 y versiones posteriores, puede almacenar artefactos en un volumen de catálogo de Unity. Al crear un experimento de MLflow, especifique una ruta de volúmenes de la forma dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path como ubicación del artefacto del experimento de MLflow, como se muestra en el siguiente código.

   EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
   CATALOG = "my_catalog"
   SCHEMA = "my_schema"
   VOLUME = "my_volume"
   ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}"
   
   mlflow.set_tracking_uri("databricks")
   mlflow.set_registry_uri("databricks-uc")
   
   if mlflow.get_experiment_by_name(EXP_NAME) is None:
       mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
   mlflow.set_experiment(EXP_NAME)
   

   Para almacenar artefactos en Azure Blob Storage, especifique un URI con el formato wasbs://<container>@<storage-account>.blob.core.windows.net/<path>. Los artefactos almacenados en Azure Blob Storage no aparecen en la interfaz de usuario de MLflow; debe descargarlos mediante un cliente de Blob Storage.

   Nota:

   Cuando se almacena un artefacto en una ubicación que no sea DBFS, el artefacto no aparece en la interfaz de usuario de MLflow. Los modelos almacenados en ubicaciones distintas de DBFS no se pueden registrar en el Registro de modelos.

5. Haga clic en Crear. Aparece la página de detalles del experimento para el nuevo experimento.

6. Para registrar ejecuciones en este experimento, llame a mlflow.set_experiment() con la ruta de acceso del experimento. Para mostrar la ruta del experimento, haga clic en el situado a la derecha del nombre del experimento. Consulte Registrar ejecuciones y modelos en un experimento para obtener más información y un cuaderno de ejemplo.

Creación de experimentos desde la página Experimentos

Para crear un modelo básico de ajuste, AutoML o experimento personalizado, haga clic en Experimentos o seleccione Nuevo > experimento en la barra lateral izquierda.

En la parte superior de la página, seleccione una de las siguientes opciones para configurar un experimento:

• Ajuste fino del modelo fundacional . Aparece el cuadro de diálogo Ajuste fino del modelo Foundation. Para obtener más información, consulte Cree una ejecución de entrenamiento utilizando la interfaz de usuario de ajuste fino del modelo fundacional.
• Previsión. Aparece el cuadro de diálogo del experimento de Configuración de previsión. Para obtener más información, consulte Configuración del experimento de AutoML.
• Clasificación. Aparece el cuadro de diálogo Configurar experimento de clasificación . Para más información, consulte Configuración del experimento de clasificación con la interfaz de usuario.
• Regresión. Aparece el cuadro de diálogo Configurar experimento de clasificación . Para más información, consulte Configuración del experimento de regresión con la interfaz de usuario.
• Personalizado. Aparece el cuadro de diálogo Create MLflow Experiment (Crear experimento de MLflow). Para obtener más información, consulte Paso 4 en Creación de experimentos desde el área de trabajo.

Creación de un experimento de cuaderno

Cuando se usa el comando mlflow.start_run() en un cuaderno, la ejecución registra métricas y parámetros en el experimento activo. Si no hay ningún experimento activo, Azure Databricks crea un experimento de cuaderno. Un experimento de cuaderno comparte el mismo nombre e identificador que su cuaderno correspondiente. El identificador de cuaderno es el identificador numérico al final de una dirección URL y un identificador del cuaderno.

Nota:

Los usuarios que ejecutan MLflow en proceso con acceso de grupo dedicado deben comprobar que el grupo tiene permiso para escribir en el directorio en el que reside el cuaderno o usar mlflow.set_tracking_uri("<path>") para especificar una carpeta para que MLflow escriba en.

Como alternativa, puede pasar una ruta de acceso del área de trabajo de Azure Databricks a un cuaderno existente en mlflow.set_experiment() para crear un experimento de cuaderno para él.

Para obtener instrucciones sobre cómo registrar ejecuciones en experimentos de cuadernos, consulte Registrar ejecuciones y modelos en un experimento.

Nota:

Si elimina un experimento de cuaderno mediante la API (por ejemplo, MlflowClient.tracking.delete_experiment() en Python), el propio cuaderno se mueve a la carpeta de la papelera.

Visualización de experimentos

Cada experimento al que tiene acceso aparece en la página de experimentos. En esta página, puede ver cualquier experimento. Haga clic en un nombre del experimento para mostrar la página de detalles del experimento.

Formas adicionales de acceder a la página de detalles del experimento:

• Puede acceder a la página de detalles del experimento para un experimento de área de trabajo desde el menú del área de trabajo.
• Puede acceder a la página de detalles del experimento de un experimento de cuaderno desde el cuaderno.

Para buscar experimentos, escriba texto en el campo Filtrar experimentos y presione Entrar o haga clic en el icono de lupa. La lista de experimentos cambia para mostrar solo los experimentos que contienen el texto de búsqueda en las columnas Nombre, Autor, Ubicación o Descripción.

Haga clic en el nombre de cualquier experimento de la tabla para mostrar su página de detalles del experimento:

En la página de detalles del experimento se enumeran todas las ejecuciones asociadas al experimento. En la tabla, puede abrir la página de ejecución de cualquier ejecución asociada al experimento haciendo clic en su nombre de ejecución. La columna Origen proporciona acceso a la versión del cuaderno que creó la ejecución. También puede buscar y filtrar ejecuciones por métricas o configuración de parámetros.

Visualización del experimento de área de trabajo

1. Haga clic en Área de trabajo en la barra lateral.
2. Vaya a la carpeta que contiene el experimento.
3. Haga clic en el nombre del experimento.

Visualización del experimento de cuaderno

En la barra lateral derecha del cuaderno, haga clic en el icono Experiment.

Aparece la barra lateral de ejecuciones de experimento, con un resumen de cada ejecución asociada al experimento del cuaderno, incluidos los parámetros de ejecución y las métricas. En la parte superior de la barra lateral se encuentra el nombre del experimento en el que se ejecuta el cuaderno registrado más recientemente (un experimento de cuaderno o de área de trabajo).

Desde la barra lateral, puede navegar a la página de detalles del experimento o ir directamente a una ejecución.

• Para ver el experimento, haga clic en (Vínculo externo) en el extremo derecho, junto a Experiment Runs (Ejecuciones de experimento).
• Para mostrar una ejecución, haga clic en el nombre de la ejecución.

Administrar experimentos

Puede cambiar el nombre, eliminar o administrar los permisos de un experimento que posee desde la página experimentos, la página de detalles del experimento o el menú del área de trabajo.

Nota:

No se puede cambiar el nombre, eliminar o administrar directamente los permisos en un experimento de MLflow creado por un cuaderno en una carpeta de Git de Databricks. Debe realizar estas acciones en el nivel de carpeta de Git.

Cambiar el nombre del experimento

Puede cambiar el nombre de un experimento que posee desde la página Experimentos o desde la página de detalles del experimento para ese experimento.

• En la página Experimentos, haga clic en el en la última columna y luego haga clic en Cambiar nombre.

• En la página de detalles del experimento, haga clic en el junto a Permisos y luego haga clic en Cambiar nombre.

Puede cambiar el nombre de un experimento del espacio de trabajo desde el área de trabajo. Haga clic con el botón derecho en el nombre del experimento y, a continuación, haga clic en Cambiar nombre.

Obtención del identificador y la ruta de acceso del experimento

En la página de detalles del experimento, puede obtener la ruta a un experimento de cuaderno haciendo clic en el icono de información situado a la derecha del nombre del experimento. Aparece una nota emergente que muestra la ruta de acceso al experimento, el identificador del experimento y la ubicación del artefacto. Puede usar el identificador del experimento en el comando set_experiment MLflow para establecer el experimento de MLflow activo.

Desde un cuaderno, puede copiar la ruta completa del experimento haciendo clic en en la barra lateral del experimento del cuaderno.

Eliminación de un experimento de cuaderno

Los experimentos de cuaderno forman parte del cuaderno y no se pueden eliminar por separado. Al eliminar un cuaderno, se elimina el experimento de cuaderno asociado. Al eliminar un experimento de cuaderno mediante la interfaz de usuario, también se elimina el cuaderno.

Para eliminar experimentos de cuadernos mediante la API, use Workspace API para asegurarse de que tanto el cuaderno como el experimento se eliminan del área de trabajo.

Eliminación de un área de trabajo o un experimento de cuaderno

Puede eliminar un experimento que posee desde la página de experimentos o desde la página de detalles del experimento.

Importante

Al eliminar un experimento de cuaderno, también se elimina el cuaderno.

• En la página Experimentos, haga clic en el icono de en la columna situada más a la derecha y, a continuación, haga clic en Eliminar.

• En la página de detalles del experimento, haga clic en el junto a Permisos y, a continuación, haga clic en Eliminar.

Puede eliminar un experimento de área de trabajo del área de trabajo. Haga clic con el botón derecho en el nombre del experimento y, a continuación, haga clic en Mover a la papelera.

Cambio de permisos para un experimento

Para cambiar los permisos de un experimento desde la página de detalles del experimento, haga clic en Permisos.

Puede cambiar los permisos de un experimento que posee en la página Experimentos. Haga clic en el icono de en la columna situada más a la derecha y, a continuación, haga clic en Permisos.

Para más información sobre los niveles de permisos del experimento, consulte ACL del experimento de MLflow.

Copia de experimentos entre áreas de trabajo

Para migrar experimentos de MLflow entre áreas de trabajo, puede usar el proyecto MLflow Export-Import controlado por la comunidad de código abierto.

Con estas herramientas puede realizar lo siguiente:

• Comparta y colabore con otros científicos de datos en el mismo servidor de seguimiento u otro servidor de seguimiento. Por ejemplo, puede clonar un experimento de otro usuario en el área de trabajo.
• Copie los experimentos de MLflow y ejecútelos desde el servidor de seguimiento local al área de trabajo de Databricks.
• Realice una copia de seguridad de experimentos y modelos críticos en otro área de trabajo de Databricks.