Comparteix a través de


Conexión y administración del catálogo de Azure Databricks Unity en Microsoft Purview (versión preliminar)

En este artículo se describe cómo registrar Azure Databricks y cómo autenticarse e interactuar con el catálogo de Azure Databricks Unity en Microsoft Purview. Para obtener más información sobre Microsoft Purview, lea el artículo introductorio.

Importante

Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen términos legales adicionales que se aplican a las características de Azure que están en versión beta, en versión preliminar o que aún no se han publicado en disponibilidad general.

Funciones admitidas

Extracción de metadatos Examen completo Examen incremental Examen con ámbito Clasificación Etiquetar Directiva de acceso Linaje Uso compartido de datos Vista en vivo
No No No No No No No

Al examinar el catálogo de Azure Databricks Unity, Microsoft Purview admite:

  • Metastore
  • Catálogos
  • Schemas
  • Tablas que incluyen las columnas
  • Vistas que incluyen las columnas

Al configurar el examen, puede elegir examinar todo el catálogo de Unity o limitar el examen a un subconjunto de catálogos.

Nota:

Este conector trae metadatos del catálogo de Azure Databricks Unity. Para examinar los metadatos con ámbito de área de trabajo de Azure Databricks, consulte Conector de Metastore de Hive de Azure Databricks.

Limitaciones conocidas

  • Actualmente, el examen no se admite si el área de trabajo de Azure Databricks no permite el acceso desde la red pública o si la cuenta de Purview no habilita el acceso desde todas las redes. Vamos a agregar este soporte en breve.
  • Cuando se elimina el objeto del origen de datos, actualmente el examen posterior no quitará automáticamente el recurso correspondiente en Microsoft Purview.

Requisitos previos

Registrarse

En esta sección se describe cómo registrar un área de trabajo de Azure Databricks en Microsoft Purview mediante el portal de gobernanza de Microsoft Purview.

  1. Vaya a su cuenta de Microsoft Purview.

  2. Seleccione Mapa de datos en el panel izquierdo.

  3. Seleccione Registrar.

  4. En Registrar orígenes, seleccione Continuar con Azure Databricks>.

  5. En la pantalla Registrar orígenes (Azure Databricks), haga lo siguiente:

    1. En Nombre, escriba un nombre que Microsoft Purview mostrará como origen de datos.

    2. Para la suscripción de Azure y el nombre del área de trabajo de Databricks, seleccione la suscripción y el área de trabajo que desea examinar en la lista desplegable. La dirección URL del área de trabajo de Databricks se rellena automáticamente.

    3. En Seleccionar una colección, elija una colección de la lista o cree una nueva. Este paso es opcional.

    Captura de pantalla del registro del origen de Azure Databricks.

  6. Seleccione Finalizar.

Examinar

Sugerencia

Para solucionar cualquier problema con el examen:

  1. Confirme que ha seguido todos los requisitos previos.
  2. Revise nuestra documentación de solución de problemas de examen.

Siga estos pasos para examinar Azure Databricks para identificar automáticamente los recursos. Para obtener más información sobre el examen en general, consulte Exámenes e ingesta en Microsoft Purview.

  1. Vaya a Orígenes.

  2. Seleccione la instancia de Azure Databricks registrada.

  3. Seleccione + Nuevo examen.

  4. Proporcione los detalles siguientes:

    1. Nombre: escriba un nombre para el examen.

    2. Método de extracción: Indique que se van a extraer metadatos del metastore de Hive o del catálogo de Unity. Seleccione Catálogo de Unity.

    3. Conectar a través de Integration Runtime: elija el entorno de ejecución de integración resuelto automáticamente predeterminado.

    4. Credencial: seleccione la credencial para conectarse al origen de datos. Asegúrese de:

      • Seleccione Autenticación de token de acceso al crear una credencial.
      • Proporcione el nombre secreto del token de acceso personal que creó en Requisitos previos en el cuadro adecuado.

      Para obtener más información, consulte Credenciales para la autenticación de origen en Microsoft Purview.

    5. Ruta de acceso HTTP: Especifique la ruta de acceso HTTP de Databricks SQL Warehouse a la que Microsoft Purview se conectará y realizará el examen, por ejemplo, /sql/1.0/endpoints/xxxxxxxxxxxxxxxx. Puede encontrarlo en el área de trabajo de Azure Databricks:> SQL Warehouses,> el almacenamiento,> los detalles de conexión y> la ruta de acceso HTTP.

  5. Haga clic en Probar conexión para validar la configuración.

    Captura de pantalla de la configuración del examen del catálogo de Azure Databricks Unity.

  6. Seleccione Continuar.

  7. En la página Ámbito del examen , seleccione los catálogos que desea examinar.

    Captura de pantalla de la configuración del ámbito para el examen de Azure Databricks.

  8. En Desencadenador de examen, elija si desea configurar una programación o ejecutar el examen una vez.

  9. Revise el examen y seleccione Guardar y ejecutar.

Una vez que el examen se complete correctamente, vea cómo examinar y buscar recursos.

Visualización de los exámenes y las ejecuciones de examen

Para ver los exámenes existentes:

  1. Vaya al portal de gobernanza de Microsoft Purview. En el panel izquierdo, seleccione Mapa de datos.
  2. Seleccione el origen de datos. Puede ver una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes .
  3. Seleccione el examen que tiene los resultados que desea ver. En el panel se muestran todas las ejecuciones de examen anteriores, junto con el estado y las métricas de cada ejecución de examen.
  4. Seleccione el identificador de ejecución para comprobar los detalles de la ejecución del examen.

Administrar los exámenes

Para editar, cancelar o eliminar un examen:

  1. Vaya al portal de gobernanza de Microsoft Purview. En el panel izquierdo, seleccione Mapa de datos.

  2. Seleccione el origen de datos. Puede ver una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes .

  3. Seleccione el examen que desea administrar. Después, podrá:

    • Edite el examen seleccionando Editar examen.
    • Para cancelar un examen en curso, seleccione Cancelar ejecución del examen.
    • Para eliminar el examen, seleccione Eliminar examen.

Nota:

  • La eliminación del examen no elimina los recursos de catálogo creados a partir de exámenes anteriores.
  • El recurso ya no se actualizará con los cambios de esquema si la tabla de origen ha cambiado y vuelve a examinar la tabla de origen después de editar la descripción en la pestaña Esquema de Microsoft Purview.

Examinar y buscar recursos

Después de examinar Azure Databricks, puede examinar el catálogo de datos o buscar en el catálogo de datos para ver los detalles del recurso.

Al examinar por tipos de origen, verá dos entradas para El catálogo de Azure Databricks Unity y Azure Databricks , respectivamente. El primero contiene los artefactos del catálogo de Unity, incluidos el metastore y sus catálogos, esquemas, tablas o vistas, mientras que el segundo contiene el área de trabajo.

Captura de pantalla de los recursos de exploración por tipo de origen.

En el recurso del área de trabajo de Azure Databricks, puede encontrar el catálogo de Unity asociado en la pestaña Propiedades, también se aplica inverso.

Captura de pantalla de la búsqueda del catálogo de Unity asociado con el origen de Azure Databricks.

Siguientes pasos

Ahora que ha registrado el origen, use las siguientes guías para obtener más información sobre Microsoft Purview y sus datos: