Compartir vía

Creación manual de una agrupación

  • Artículo

En este tutorial, creará una agrupación de recursos de Databricks desde cero. Esta agrupación simple consta de dos cuadernos y la definición de un trabajo de Azure Databricks para ejecutar estos cuadernos. A continuación, valide, implemente y ejecute el trabajo en el área de trabajo de Azure Databricks. Estos pasos automatizan el inicio rápido titulado Creación del primer flujo de trabajo con un trabajo de Azure Databricks.

Requisitos

Paso 1: Crear la agrupación

Una agrupación contiene los artefactos que desea implementar y la configuración de los recursos que desea ejecutar.

  1. Cree o identifique un directorio vacío en la máquina de desarrollo.
  2. Cambie al directorio vacío en el terminal o ábralo en el IDE.

Sugerencia

También puede usar un directorio que contiene un repositorio clonado desde un proveedor de Git. Esto le permite administrar la agrupación con control de versiones externo y colaborar más fácilmente con otros desarrolladores y profesionales de TI en el proyecto.

Si decide clonar un repositorio para esta demostración, Databricks recomienda que el repositorio esté vacío o que solo tenga archivos básicos en él, como README y .gitignore. De lo contrario, los archivos preexistentes del repositorio pueden estar sincronizados innecesariamente con el área de trabajo de Azure Databricks.

Paso 2: Agregar cuadernos al proyecto

En este paso, agregará dos cuadernos al proyecto. El primer cuaderno obtiene una lista de nombres de bebé populares desde 2007 de los orígenes de datos públicos del Departamento de Salud de Nueva York. Consulte Nombres de bebé: Tendencias por nombre, inicio 2007 en el sitio web del departamento. A continuación, el primer cuaderno guarda estos datos en su volumen de Unity Catalog de Azure Databricks llamado my-volume en un esquema denominado default dentro de un catálogo con el nombre main. El segundo cuaderno consulta los datos guardados y muestra recuentos agregados de los nombres de bebé por nombre y sexo para 2014.

  1. En la raíz del directorio, cree el primer cuaderno, un archivo denominado retrieve-baby-names.py.

  2. Agregue el siguiente código al archivo retrieve-baby-names.py:

    # Databricks notebook source
import requests

response = requests.get('http://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv')
csvfile = response.content.decode('utf-8')
dbutils.fs.put("/Volumes/main/default/my-volume/babynames.csv", csvfile, True)

  3. Cree el segundo cuaderno, un archivo denominado filter-baby-names.py, en el mismo directorio.

  4. Agregue el siguiente código al archivo filter-baby-names.py:

    # Databricks notebook source
babynames = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/Volumes/main/default/my-volume/babynames.csv")
babynames.createOrReplaceTempView("babynames_table")
years = spark.sql("select distinct(Year) from babynames_table").toPandas()['Year'].tolist()
years.sort()
dbutils.widgets.dropdown("year", "2014", [str(x) for x in years])
display(babynames.filter(babynames.Year == dbutils.widgets.get("year")))

Paso 3: Adición de un archivo de esquema de configuración de agrupación al proyecto

Si usa un IDE como Visual Studio Code, PyCharm Professional o IntelliJ IDEA Ultimate que proporciona compatibilidad con archivos YAML y archivos de esquema JSON, puede usar el IDE no solo para crear el archivo de esquema de configuración de agrupación, sino para comprobar la sintaxis y el formato del archivo de configuración de agrupación del proyecto. Tenga en cuenta que, aunque el archivo de configuración de agrupación que creará más adelante en el paso 5 se basa en YAML, el archivo de esquema de configuración de agrupación de este paso se basa en JSON.

Visual Studio Code

  1. Agregue compatibilidad con el servidor de lenguaje YAML a Visual Studio Code, por ejemplo, instalando la extensión YAML desde Visual Studio Code Marketplace.

  2. Genere el archivo de esquema JSON de configuración del conjunto de recursos de Databricks mediante la CLI de Databricks para ejecutar el comando bundle schema y redirigir la salida a un archivo JSON. Por ejemplo, genere un archivo denominado bundle_config_schema.json dentro del directorio actual, como se indica a continuación:

    databricks bundle schema > bundle_config_schema.json

  3. En el paso 5 agregará el siguiente comentario al principio del archivo de configuración de agrupación, que asocia el archivo de configuración de agrupación con el archivo de esquema JSON especificado:

    # yaml-language-server: $schema=bundle_config_schema.json

    Nota:

    En el comentario anterior, si el archivo de esquema JSON de configuración del conjunto de recursos de Databricks está en una ruta de acceso diferente, reemplace bundle_config_schema.json por la ruta de acceso completa al archivo de esquema.

PyCharm Professional

  1. Genere el archivo de esquema JSON de configuración de agrupación de recursos de Databricks mediante la CLI de Databricks para ejecutar el comando bundle schema y redirigir la salida a un archivo JSON. Por ejemplo, genere un archivo denominado bundle_config_schema.json dentro del directorio actual, como se indica a continuación:

    databricks bundle schema > bundle_config_schema.json

  2. Configure PyCharm para reconocer el archivo de esquema JSON de configuración de agrupación y, a continuación, complete la asignación de esquema JSON siguiendo las instrucciones de Configuración de un esquema JSON personalizado.

  3. En el paso 5 usará PyCharm para crear o abrir un archivo de configuración de agrupación. Por convención, este archivo se denomina databricks.yml.

IntelliJ IDEA Ultimate

  1. Genere el archivo de esquema JSON de configuración del conjunto de recursos de Databricks mediante la CLI de Databricks para ejecutar el comando bundle schema y redirigir la salida a un archivo JSON. Por ejemplo, genere un archivo denominado bundle_config_schema.json dentro del directorio actual, como se indica a continuación:

    databricks bundle schema > bundle_config_schema.json

  2. Configure IntelliJ IDEA para reconocer el archivo de esquema JSON de configuración de agrupación y, a continuación, complete la asignación de esquema JSON siguiendo las instrucciones de Configurar un esquema JSON personalizado.

  3. En el paso 5 usará IntelliJ IDEA para crear o abrir un archivo de configuración de agrupación. Por convención, este archivo se denomina databricks.yml.

Paso 4: Configurar la autenticación

En este paso, configurará la autenticación entre la CLI de Databricks en la máquina de desarrollo y el área de trabajo de Azure Databricks. En este artículo se asume que quiere usar la autenticación de usuario a máquina (U2M) de OAuth y un perfil de configuración de Azure Databricks correspondiente denominado DEFAULT para la autenticación.

Nota:

La autenticación U2M es adecuada para probar estos pasos en tiempo real. Para flujos de trabajo totalmente automatizados, Databricks recomienda usar la autenticación de máquina a máquina (M2M) de OAuth en su lugar. Consulte las instrucciones de configuración de autenticación de M2M en Autenticación.

  1. Use el CLI de Databricks para iniciar la administración de tokens de OAuth localmente mediante la ejecución del siguiente comando para cada área de trabajo de destino.

    En el comando siguiente, reemplace <workspace-url> por la dirección URL de Azure Databricks por área de trabajo, por ejemplo, https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --host <workspace-url>

  2. La CLI de Databricks le pide que guarde la información que especificó como un perfil de configuración de Azure Databricks. Presione Enter para aceptar el nombre del perfil sugerido o escriba el nombre de un perfil nuevo o existente. Cualquier perfil existente con el mismo nombre se sobrescribe con la información que especificó. Puede usar perfiles para cambiar rápidamente el contexto de autenticación entre varias áreas de trabajo.

    Para obtener una lista de los perfiles existentes, en un terminal o símbolo del sistema independiente, use la CLI de Databricks para ejecutar el comando databricks auth profiles. Para ver la configuración existente de un perfil específico, ejecute el comando databricks auth env --profile <profile-name>.

  3. En el explorador web, complete las instrucciones en pantalla para iniciar sesión en el área de trabajo de Azure Databricks.

  4. Para ver el valor actual del token de OAuth de un perfil y la próxima marca de tiempo de expiración del token’, ejecute uno de los siguientes comandos:

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Si tiene varios perfiles con el mismo valor de --host, es posible que tenga que especificar las opciones --host y -p para ayudar a la CLI de Databricks a encontrar la información correcta del token de OAuth coincidente.

Paso 5: Adición de un archivo de configuración de agrupación al proyecto

En este paso, definirá cómo implementar y ejecutar los dos cuadernos. Para esta demostración, debería usar un trabajo de Azure Databricks para ejecutar el primer cuaderno y, a continuación, el segundo. Dado que el primer cuaderno guarda los datos y el segundo cuaderno consulta los datos guardados, es recomendable que el primer cuaderno termine de ejecutarse antes de que se inicie el segundo cuaderno. Estos objetivos se modelan dentro de un archivo de configuración de agrupación en el proyecto.

  1. En la raíz del directorio, cree el archivo de configuración de agrupación, un archivo denominado databricks.yml.
  2. Agregue el código siguiente al archivo databricks.yml, reemplazando <workspace-url> por la dirección URL por área de trabajo, por ejemplo https://adb-1234567890123456.7.azuredatabricks.net. Esta dirección URL debe coincidir con la del archivo .databrickscfg:

Sugerencia

La primera línea, a partir de # yaml-language-server, solo es necesaria si el IDE lo admite. Consulte el paso 3 anterior para obtener más información.

# yaml-language-server: $schema=bundle_config_schema.json
bundle:
  name: baby-names

resources:
  jobs:
    retrieve-filter-baby-names-job:
      name: retrieve-filter-baby-names-job
      job_clusters:
        - job_cluster_key: common-cluster
          new_cluster:
            spark_version: 12.2.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1
      tasks:
        - task_key: retrieve-baby-names-task
          job_cluster_key: common-cluster
          notebook_task:
            notebook_path: ./retrieve-baby-names.py
        - task_key: filter-baby-names-task
          depends_on:
            - task_key: retrieve-baby-names-task
          job_cluster_key: common-cluster
          notebook_task:
            notebook_path: ./filter-baby-names.py

targets:
  development:
    workspace:
      host: <workspace-url>

Para personalizar los trabajos, las asignaciones dentro de una declaración de trabajo corresponden a la carga de solicitud, expresada en formato YAML, de la operación de creación del trabajo, tal y como se documenta en POST /api/2.1/jobs/create en la referencia de API REST.

Sugerencia

Puede definir, combinar e invalidar la configuración de los nuevos clústeres de trabajos en agrupaciones mediante las técnicas descritas en Invalidación de la configuración del clúster en agrupaciones de recursos de Databricks.

Paso 6: Validación del archivo de configuración de agrupación del proyecto

En este paso, comprobará si la configuración de la agrupación es válida.

  1. Utilice la CLI de Databricks para ejecutar el comando bundle validate de la siguiente manera:

    databricks bundle validate

  2. Si se devuelve un resumen de la configuración de la agrupación, indica que la validación se ha realizado correctamente. Si se devuelven errores, corrija los errores y repita este paso.

Si realiza algún cambio en la agrupación después de este paso, debe repetir el paso para comprobar si la configuración de la agrupación sigue siendo válida.

Paso 7: implementación del proyecto local en el área de trabajo remota

En este paso, implementará los dos cuadernos locales en el área de trabajo remota de Azure Databricks y creará el trabajo de Azure Databricks en el área de trabajo.

  1. Utilice la CLI de Databricks para ejecutar el comando bundle deploy de la siguiente manera:

    databricks bundle deploy -t development

  2. Compruebe si se implementaron los dos cuadernos locales: en la barra lateral del área de trabajo de Azure Databricks, haga clic en Área de trabajo.

  3. Haga clic en la carpeta Usuarios ><your-username>> .bundle > baby-names > desarrollo > archivos. Los dos cuadernos deben estar en esta carpeta.

  4. Compruebe si se creó el trabajo: en la barra lateral del área de trabajo de Azure Databricks, haga clic en Flujos de trabajo.

  5. En la pestaña Trabajos, haga clic en retrieve-filter-baby-names-job.

  6. Haga clic en la pestaña Tareas. Debe haber dos tareas: retrieve-baby-names-task y filter-baby-names-task.

Si realiza algún cambio en la agrupación después de este paso, debe repetir los pasos 6 y 7 para comprobar si la configuración de la agrupación sigue siendo válida y volver a implementar el proyecto.

Paso 8: Ejecutar el proyecto implementado

En este paso, ejecutará el trabajo de Azure Databricks en el área de trabajo.

  1. Utilice la CLI de Databricks para ejecutar el comando bundle run de la siguiente manera:

    databricks bundle run -t development retrieve-filter-baby-names-job

  2. Copie el valor de Run URL que aparece en el terminal y pegue este valor en el explorador web para abrir el área de trabajo de Azure Databricks.

  3. En el área de trabajo de Azure Databricks, después de que las dos tareas se completen correctamente y muestren barras de título verdes, haga clic en la tarea filter-baby-names-task para ver los resultados de la consulta.

Si realiza algún cambio en la agrupación después de este paso, debe repetir los pasos del 6 al 8 para comprobar si la configuración de la agrupación sigue siendo válida, volver a implementar el proyecto y ejecutarlo.

Paso 9: Limpieza

En este paso, eliminará los dos cuadernos implementados y el trabajo del área de trabajo.

  1. Utilice la CLI de Databricks para ejecutar el comando bundle destroy de la siguiente manera:

    databricks bundle destroy

  2. Confirme la solicitud de eliminación del trabajo: cuando se le pida que destruya permanentemente los recursos, escriba y y presione Enter.

  3. Confirme la solicitud de eliminación de cuadernos: cuando se le pida que destruya permanentemente la carpeta implementada previamente y todos sus archivos, escriba y y presione Enter.

Al ejecutar el bundle destroy comando, solo se elimina el trabajo implementado y la carpeta que contiene los dos cuadernos implementados. Este comando no elimina ningún efecto secundario, como el archivo babynames.csv que creó el primer cuaderno. Para eliminar el archivo babybnames.csv, haga lo siguiente:

  1. En la barra lateral del área de trabajo de Azure Databricks, haga clic en Catálogo.
  2. Haga clic en Examinar DBFS.
  3. Haga clic en la carpeta FileStore.
  4. Haga clic en la flecha desplegable situada junto a babynames.csv y haga clic en Eliminar.
  5. Si también desea eliminar la agrupación de la máquina de desarrollo, ahora puede eliminar el directorio local del paso 1.