Conexión y administración del catálogo de Azure Databricks Unity en Microsoft Purview (versión preliminar)
En este artículo se describe cómo registrar Azure Databricks y cómo autenticarse e interactuar con el catálogo de Azure Databricks Unity en Microsoft Purview. Para obtener más información sobre Microsoft Purview, lea el artículo introductorio.
Importante
Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen términos legales adicionales que se aplican a las características de Azure que están en versión beta, en versión preliminar o que aún no se han publicado en disponibilidad general.
Funciones admitidas
| Extracción de metadatos | Examen completo | Examen incremental | Examen con ámbito | Clasificación | Etiquetar | Directiva de acceso | Linaje | Uso compartido de datos | Vista en vivo |
|---|---|---|---|---|---|---|---|---|---|
| Sí | Sí | No | Sí | No | No | No | No | No | No |
Al examinar el catálogo de Azure Databricks Unity, Microsoft Purview admite:
- Metastore
- Catálogos
- Schemas
- Tablas que incluyen las columnas
- Vistas que incluyen las columnas
Al configurar el examen, puede elegir examinar todo el catálogo de Unity o limitar el examen a un subconjunto de catálogos.
Nota:
Este conector trae metadatos del catálogo de Azure Databricks Unity. Para examinar los metadatos con ámbito de área de trabajo de Azure Databricks, consulte Conector de Metastore de Hive de Azure Databricks.
Limitaciones conocidas
- Actualmente, el examen no se admite si el área de trabajo de Azure Databricks no permite el acceso desde la red pública o si la cuenta de Purview no habilita el acceso desde todas las redes. Vamos a agregar este soporte en breve.
- Cuando se elimina el objeto del origen de datos, actualmente el examen posterior no quitará automáticamente el recurso correspondiente en Microsoft Purview.
Requisitos previos
Debe tener una cuenta de Azure con una suscripción activa. Cree una cuenta de forma gratuita.
Debe tener una cuenta de Microsoft Purview activa.
Necesita una Key Vault de Azure y conceder permisos de Microsoft Purview para acceder a los secretos.
Necesita permisos de administrador de origen de datos y lector de datos para registrar un origen y administrarlo en el portal de gobernanza de Microsoft Purview. Para obtener más información sobre los permisos, consulte Control de acceso en Microsoft Purview.
Para examinar el catálogo de Azure Databricks Unity, Microsoft Purview se conecta a una instancia de SQL Warehouse en el área de trabajo y usa el token de acceso personal para la autenticación. Debe tener un área de trabajo de Azure Databricks habilitada y conectada al metastore que desea examinar. En el área de trabajo de Azure Databricks:
Genere un token de acceso personal y almacénelo como secreto en Azure Key Vault.
Para todos los objetos que desea incorporar a Microsoft Purview, el usuario debe tener al menos el privilegio SELECT en tablas o vistas, USE CATALOG en el catálogo del objeto y USE SCHEMA en el esquema del objeto.
Para examinar todos los objetos de un metastore del catálogo de Unity, use un usuario con el rol de administrador de metastore. Obtenga más información en Administrar privilegios en el catálogo de Unity y los privilegios del catálogo de Unity y objetos protegibles.
Cree una instancia de SQL Warehouse. También puede usar el almacén de inicio creado automáticamente, si procede.
Anote la ruta de acceso HTTP. Puede encontrarlo en el área de trabajo de Azure Databricks:> SQL Warehouses,> el almacenamiento,> los detalles de conexión y> la ruta de acceso HTTP.
Asegúrese de que el usuario tiene el permiso Can Use para conectarse a Azure Databricks SQL Warehouse. Obtenga más información sobre el control de acceso de SQL Warehouse.
Registrarse
En esta sección se describe cómo registrar un área de trabajo de Azure Databricks en Microsoft Purview mediante el portal de gobernanza de Microsoft Purview.
Vaya a su cuenta de Microsoft Purview.
Seleccione Mapa de datos en el panel izquierdo.
Seleccione Registrar.
En Registrar orígenes, seleccione Continuar con Azure Databricks>.
En la pantalla Registrar orígenes (Azure Databricks), haga lo siguiente:
En Nombre, escriba un nombre que Microsoft Purview mostrará como origen de datos.
Para la suscripción de Azure y el nombre del área de trabajo de Databricks, seleccione la suscripción y el área de trabajo que desea examinar en la lista desplegable. La dirección URL del área de trabajo de Databricks se rellena automáticamente.
En Seleccionar una colección, elija una colección de la lista o cree una nueva. Este paso es opcional.
Seleccione Finalizar.
Examinar
Sugerencia
Para solucionar cualquier problema con el examen:
- Confirme que ha seguido todos los requisitos previos.
- Revise nuestra documentación de solución de problemas de examen.
Siga estos pasos para examinar Azure Databricks para identificar automáticamente los recursos. Para obtener más información sobre el examen en general, consulte Exámenes e ingesta en Microsoft Purview.
Vaya a Orígenes.
Seleccione la instancia de Azure Databricks registrada.
Seleccione + Nuevo examen.
Proporcione los detalles siguientes:
Nombre: escriba un nombre para el examen.
Método de extracción: Indique que se van a extraer metadatos del metastore de Hive o del catálogo de Unity. Seleccione Catálogo de Unity.
Conectar a través de Integration Runtime: elija el entorno de ejecución de integración resuelto automáticamente predeterminado.
Credencial: seleccione la credencial para conectarse al origen de datos. Asegúrese de:
- Seleccione Autenticación de token de acceso al crear una credencial.
- Proporcione el nombre secreto del token de acceso personal que creó en Requisitos previos en el cuadro adecuado.
Para obtener más información, consulte Credenciales para la autenticación de origen en Microsoft Purview.
Ruta de acceso HTTP: Especifique la ruta de acceso HTTP de Databricks SQL Warehouse a la que Microsoft Purview se conectará y realizará el examen, por ejemplo,
/sql/1.0/endpoints/xxxxxxxxxxxxxxxx. Puede encontrarlo en el área de trabajo de Azure Databricks:> SQL Warehouses,> el almacenamiento,> los detalles de conexión y> la ruta de acceso HTTP.
Haga clic en Probar conexión para validar la configuración.
Seleccione Continuar.
En la página Ámbito del examen , seleccione los catálogos que desea examinar.
En Desencadenador de examen, elija si desea configurar una programación o ejecutar el examen una vez.
Revise el examen y seleccione Guardar y ejecutar.
Una vez que el examen se complete correctamente, vea cómo examinar y buscar recursos.
Visualización de los exámenes y las ejecuciones de examen
Para ver los exámenes existentes:
- Vaya al portal de gobernanza de Microsoft Purview. En el panel izquierdo, seleccione Mapa de datos.
- Seleccione el origen de datos. Puede ver una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes .
- Seleccione el examen que tiene los resultados que desea ver. En el panel se muestran todas las ejecuciones de examen anteriores, junto con el estado y las métricas de cada ejecución de examen.
- Seleccione el identificador de ejecución para comprobar los detalles de la ejecución del examen.
Administrar los exámenes
Para editar, cancelar o eliminar un examen:
Vaya al portal de gobernanza de Microsoft Purview. En el panel izquierdo, seleccione Mapa de datos.
Seleccione el origen de datos. Puede ver una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes .
Seleccione el examen que desea administrar. Después, podrá:
- Edite el examen seleccionando Editar examen.
- Para cancelar un examen en curso, seleccione Cancelar ejecución del examen.
- Para eliminar el examen, seleccione Eliminar examen.
Nota:
- La eliminación del examen no elimina los recursos de catálogo creados a partir de exámenes anteriores.
- El recurso ya no se actualizará con los cambios de esquema si la tabla de origen ha cambiado y vuelve a examinar la tabla de origen después de editar la descripción en la pestaña Esquema de Microsoft Purview.
Examinar y buscar recursos
Después de examinar Azure Databricks, puede examinar el catálogo de datos o buscar en el catálogo de datos para ver los detalles del recurso.
Al examinar por tipos de origen, verá dos entradas para El catálogo de Azure Databricks Unity y Azure Databricks , respectivamente. El primero contiene los artefactos del catálogo de Unity, incluidos el metastore y sus catálogos, esquemas, tablas o vistas, mientras que el segundo contiene el área de trabajo.
En el recurso del área de trabajo de Azure Databricks, puede encontrar el catálogo de Unity asociado en la pestaña Propiedades, también se aplica inverso.
Siguientes pasos
Ahora que ha registrado el origen, use las siguientes guías para obtener más información sobre Microsoft Purview y sus datos: