Exámenes e ingesta en el mapa de datos

Importante

Se retirarán el Catálogo unificado de Microsoft Purview y las funcionalidades de gobierno de datos de Microsoft Purview clásico (anteriormente Azure Purview). Microsoft está consolidando sus capacidades de gobernanza de datos en Microsoft Fabric. Ya no puede crear cuentas nuevas y las funcionalidades existentes permanecerán en modo de mantenimiento hasta el 12 de noviembre de 2027. Para conocer los plazos de retirada, las instrucciones de transición y los próximos pasos recomendados, consulte el anuncio de retirada de la gobernanza de datos de Microsoft Purview.

En este artículo se proporciona información general sobre las características de examen e ingesta en el mapa de datos de Microsoft Purview. Estas características conectan su cuenta de Microsoft Purview a los orígenes para rellenar el Mapa de datos y el Catálogo unificado, de modo que pueda empezar a explorar y administrar los datos a través de Microsoft Purview.

• El examen captura metadatos de orígenes de datos y los lleva a Microsoft Purview.
• La ingesta procesa los metadatos y los almacena en el catálogo unificado desde:
  • Análisis de orígenes de datos: los metadatos examinados se agregan al mapa de datos.
  • Conexiones de linaje: los recursos de transformación agregan metadatos sobre sus fuentes, salidas y actividades a Data Map.

Análisis

Después de registrar orígenes de datos en su cuenta de Microsoft Purview, examine los orígenes de datos. El proceso de escaneo se conecta al origen de datos y captura metadatos técnicos como nombres, tamaño de archivo, columnas y más. También extrae el esquema para orígenes de datos estructurados, aplica clasificaciones en esquemas y aplica etiquetas de confidencialidad si el mapa de datos está conectado al portal de Microsoft Purview. Puede desencadenar el proceso de examen para que se ejecute inmediatamente o programarlo para que se ejecute periódicamente para mantener actualizada su cuenta de Microsoft Purview.

Para cada examen, puede personalizar el proceso para que solo analice la información que necesita, en lugar de todo el origen.

Elegir un método de autenticación para los exámenes

Microsoft Purview es seguro de forma predeterminada. No almacena contraseñas ni secretos directamente, por lo que debe elegir un método de autenticación para los orígenes. Puede autenticar su cuenta de Microsoft Purview de varias formas, pero no todos los métodos son compatibles con cada origen de datos.

• Identidad administrada
• Entidad de servicio
• Autenticación SQL
• Autenticación de Windows
• ARN del rol
• Autenticación delegada
• Clave de consumidor
• Clave de cuenta o autenticación básica

Siempre que sea posible, use una identidad administrada porque elimina la necesidad de almacenar y administrar credenciales para orígenes de datos individuales. Este método puede reducir en gran medida el tiempo que usted y su equipo dedican a configurar y solucionar problemas de autenticación para análisis. Cuando se habilita una identidad administrada para la cuenta de Microsoft Purview, se crea una identidad en Microsoft Entra ID (Entra ID) y se vincula al ciclo de vida de la cuenta.

Ámbito del examen

Al analizar un origen, puede analizar todo el origen de datos o elegir solo entidades específicas (carpetas o tablas) para examinar. Las opciones disponibles dependen del origen que esté analizando. Puedes definir estas opciones para análisis únicos y programados.

Por ejemplo, al crear y ejecutar un examen para una instancia de Azure SQL Database, puede elegir qué tablas examinar o seleccionar toda la base de datos.

Para cada entidad (carpeta o tabla), existen tres estados de selección: Totalmente seleccionado, Parcialmente seleccionado y No seleccionado. En el ejemplo siguiente, si selecciona Departamento 1 en la jerarquía de carpetas, se considera que el Departamento 1 está completamente seleccionado. Las entidades principales del Departamento 1, que son Compañía y ejemplo, se consideran parcialmente seleccionadas, ya que las otras entidades bajo el mismo elemento primario (por ejemplo, Departamento 2) no están seleccionadas. Se utilizan iconos diferentes en la interfaz de usuario para entidades con diferentes estados de selección.

Después de ejecutar el examen, es probable que se agreguen nuevos recursos en el sistema de origen. De forma predeterminada, los recursos futuros de un determinado elemento primario se seleccionan automáticamente si el elemento primario se selecciona total o parcialmente cuando se vuelve a ejecutar el examen. En el ejemplo anterior, después de seleccionar el Departamento 1 y ejecutar el examen, los nuevos activos de la carpeta Departamento 1 o de Empresa y ejemplo se incluyen cuando vuelve a ejecutar el examen.

Un botón de alternancia, como se ve en la imagen a continuación, permite a los usuarios controlar la inclusión automática de nuevos activos en un elemento primario parcialmente seleccionado. De forma predeterminada, el botón de alternancia está desactivado y el comportamiento de inclusión automática para un elemento primario seleccionado parcialmente está deshabilitado. Con el botón de alternancia desactivado, los nuevos activos bajo padres seleccionados parcialmente, como Compañía y ejemplo , no se incluyen cuando vuelve a ejecutar el escaneo; solo los nuevos activos del Departamento 1 se incluyen en el análisis futuro.

Si el botón de alternancia está activado, los nuevos recursos de un elemento primario se seleccionan automáticamente si el elemento primario está total o parcialmente seleccionado cuando se vuelve a ejecutar el examen. El comportamiento de inclusión es el mismo que antes de introducir el botón de alternancia.

Nota:

• La disponibilidad del botón de alternancia depende del tipo de origen de datos. Actualmente está disponible en versión preliminar pública para orígenes como Azure Blob Storage, Azure Data Lake Storage Gen 1, Azure Data Lake Storage Gen 2, Azure Files y el grupo SQL dedicado de Azure (anteriormente SQL DW).
• Para cualquier examen creado o programado antes de que se introduzca el botón de alternancia, el estado del botón de alternancia se establece como Activado y no se puede cambiar. Para los exámenes creados o programados después de introducir el botón de alternancia, el estado del botón de alternancia no se puede cambiar después de guardar el examen. Debe crear un nuevo examen para cambiar el estado de alternancia.
• Cuando el botón de alternancia está desactivado, para orígenes de tipo de almacenamiento como Azure Data Lake Storage Gen 2, pueden pasar hasta cuatro horas hasta que la experiencia de exploración por tipo de origen esté totalmente disponible una vez completado el trabajo de análisis.

Limitaciones conocidas

Cuando el botón de alternancia está desactivado:

• Las entidades de archivo de un elemento primario parcialmente seleccionado no se analizan.
• Si se seleccionan explícitamente todas las entidades existentes bajo un elemento principal, el elemento primario se considera completamente seleccionado y todos los nuevos recursos del elemento primario se incluyen cuando se vuelve a ejecutar el examen.

Personalizar nivel de examen

En la terminología del mapa de datos, existen tres niveles diferentes de examen en función del alcance y las funcionalidades de los metadatos:

• Examen L1: extrae metadatos e información básica como el nombre de archivo, el tamaño y el nombre completo
• Examen de L2: extrae el esquema para tipos de archivo estructurados y tablas de base de datos
• Examen L3: extrae el esquema cuando sea aplicable y somete el archivo muestreado al sistema y a reglas de clasificación personalizadas

Al configurar un nuevo examen o editar un examen existente, puede personalizar el nivel de examen para analizar los orígenes de datos que admiten la configuración del nivel de examen.

De forma predeterminada, se seleccionará la opción "Detección automática", lo que significa que Microsoft Purview aplica el nivel de examen más alto disponible para este origen de datos. Tomemos Azure SQL Database como ejemplo, la "Detección automática" se resolverá como "Nivel 3" cuando se ejecute el examen, ya que el origen de datos ya ha admitido la clasificación en Microsoft Purview. El nivel de examen en el detalle de ejecución de examen muestra el nivel real aplicado.

Para todas las ejecuciones de análisis en el historial de análisis que se completaron antes de personalizar el nivel de escaneo como una nueva característica, el nivel de escaneo se establece y se muestra como Detección automática.

• Cuando un nivel de examen superior está disponible para un origen de datos, los exámenes guardados o programados que tienen el nivel de examen establecido en Detección automática aplican automáticamente el nuevo nivel de análisis. Por ejemplo, si la clasificación como una nueva característica está habilitada para un origen de datos determinado, todos los exámenes existentes en este origen de datos aplican automáticamente la clasificación.

• La configuración del nivel de análisis se muestra en la interfaz de supervisión de análisis para cada ejecución de análisis.

• Si selecciona el Nivel 1, el escaneo devuelve solo metadatos técnicos básicos como el nombre del activo, el tamaño del activo, la marca de tiempo modificada y más, en función de la disponibilidad de metadatos existentes de una fuente de datos específica. Para SQL Database, el proceso crea entidades de activos como tablas en el mapa de datos, pero no extrae el esquema de tabla. (Nota: los usuarios aún pueden ver el esquema de tabla a través de la vista en vivo si tienen los permisos necesarios en el sistema de origen).

• Si selecciona el nivel 2, el examen devuelve esquemas de tabla y metadatos técnicos básicos, pero no realiza el muestreo y la clasificación de datos. Para Azure SQL Database, las entidades de activos de tabla capturan el esquema de tabla sin información de clasificación.

• Si selecciona el Nivel 3, el escaneo realiza el muestreo y la clasificación de datos. Se trata de una configuración estándar para el análisis de Azure SQL Database antes del nivel de examen cuando se introduce una nueva característica.

• Si establece un examen programado en un nivel de examen inferior y posteriormente lo modifica a un nivel de examen superior, la siguiente ejecución de examen realiza automáticamente un examen completo y actualiza todos los activos de datos existentes desde el origen de datos con metadatos introducidos por una configuración de nivel de examen superior. Por ejemplo, cuando cambia un conjunto de exámenes programados con el nivel 2 en una instancia de Azure SQL Database al nivel 3, la siguiente ejecución de análisis es un examen completo y actualiza todos los activos existentes de Azure SQL Database con información de clasificación. A partir de entonces, todas las exploraciones se reanudan como exploraciones incrementales establecidas con el nivel 3.

• Si establece un examen programado en un nivel de examen superior y posteriormente lo modifica a un nivel de examen inferior, la siguiente ejecución de examen continúa realizando un examen incremental y todos los nuevos activos de datos del origen de datos solo tienen metadatos introducidos por una configuración de nivel de examen inferior. Por ejemplo, cuando cambia un conjunto de exámenes programados con el nivel 3 en una instancia de Azure SQL Database al nivel 2, la siguiente ejecución de análisis es un examen incremental y todos los nuevos activos de tabla y vista de Azure SQL Database agregados en el mapa de datos no tienen información de clasificación. Todos los activos de datos existentes aún conservan la información de clasificación generada a partir del conjunto de digitalización anterior con el nivel 3.

Nota:

• La personalización del nivel de examen está disponible actualmente para los siguientes orígenes de datos: Azure SQL Database, Azure SQL Managed Instance, Azure Cosmos DB for NoSQL, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Data Lake Storage Gen2, Azure Blob Storage, Azure Files, Azure Synapse Analytics, Grupo SQL dedicado de Azure (anteriormente SQL DW), Azure Data Explorer, Dataverse, Azure Multiple (suscripción de Azure), Múltiple de Azure (grupo de recursos de Azure), Snowflake, Catálogo de Unity de Azure Databricks
• Actualmente, la característica solo está disponible en Azure Integration Runtime y Managed Virtual Network Integration Runtime v2.

Conjunto de reglas de examen

Un conjunto de reglas de examen determina los tipos de información que busca un examen cuando se ejecuta en uno de sus orígenes. Las reglas disponibles dependen del tipo de origen que esté analizando, pero incluyen aspectos como los tipos de archivo que debe analizar y los tipos de clasificaciones que necesita.

Muchos tipos de orígenes de datos ya tienen conjuntos de reglas de análisis del sistema, pero también puede crear sus propios conjuntos de reglas de análisis para adaptar los exámenes a su organización.

Programe el examen

Microsoft Purview le permite elegir entre realizar exámenes diarios, semanales o mensuales en el momento específico que elija. Obtén más información sobre las opciones de programación admitidas. Los exámenes diarios o semanales pueden ser adecuados para los orígenes de datos con estructuras que están en desarrollo activo o que cambian con frecuencia. El examen mensual es más adecuado para los orígenes de datos que cambian con poca frecuencia. Trabaje con el administrador del origen que desea examinar para identificar un momento en el que las demandas informáticas del origen sean bajas.

Cómo detectan los exámenes los activos eliminados

Un catálogo de Microsoft Purview solo es consciente del estado de un almacén de datos cuando se ejecuta un examen. Para que el catálogo sepa si se ha eliminado un archivo, una tabla o un contenedor, compara los resultados del último análisis con el resultado del análisis actual. Por ejemplo, supongamos que la última vez que examinó una cuenta Gen2 de Azure Data Lake Storage incluía una carpeta denominada carpeta1. Cuando se vuelve a examinar la misma cuenta, falta la carpeta1 . Por lo tanto, el catálogo da por sentado que la carpeta se ha eliminado.

Sugerencia

Debido a cómo se detectan los archivos eliminados, es posible que necesites varios exámenes correctos para detectar y resolver los activos eliminados. Si Unified Catalog no registra eliminaciones para un análisis enfocado, pruebe varias exploraciones completas para resolver el problema.

Detección de archivos eliminados

La lógica para detectar archivos que faltan funciona para varios exámenes realizados por el mismo usuario y por diferentes usuarios. Por ejemplo, supongamos que un usuario ejecuta un examen único en un almacén de datos de Data Lake Storage Gen2 en las carpetas A, B y C. Más tarde, otro usuario de la misma cuenta ejecuta un examen único diferente en las carpetas C, D y E del mismo almacén de datos. Dado que la carpeta C se examinó dos veces, el catálogo la comprueba en busca de posibles eliminaciones. Sin embargo, las carpetas A, B, D y E solo se examinaron una vez y el catálogo no comprueba si hay recursos eliminados.

Para mantener los archivos eliminados fuera de tu catálogo, es importante ejecutar análisis regulares. El intervalo de examen es importante, ya que el catálogo no puede detectar los activos eliminados hasta que se ejecuta otro examen. Por lo tanto, si ejecuta exámenes una vez al mes en un almacén determinado, el catálogo no podrá detectar ningún activo de datos eliminado en ese almacén hasta que ejecute el siguiente análisis un mes después.

Al enumerar almacenes de datos grandes como Data Lake Storage Gen2, hay varias formas (incluidos los errores de enumeración y los eventos perdidos) de perder información. Un examen determinado podría detectar que se creó o eliminó un archivo. Por lo tanto, a menos que el catálogo tenga la certeza de que se elimina un archivo, no lo elimina del catálogo. Esta estrategia significa que puede haber errores cuando un archivo que no existe en el almacén de datos escaneado sigue existiendo en el catálogo. En algunos casos, es posible que sea necesario examinar un almacén de datos dos o tres veces antes de que detecte determinados recursos eliminados.

Nota:

• Los recursos que están marcados para su eliminación se eliminan después de un examen correcto. Los recursos eliminados pueden seguir siendo visibles en el catálogo durante algún tiempo antes de que se procesen y quiten.
• La detección de eliminaciones solo se admite para estos orígenes en Microsoft Purview: áreas de trabajo de Azure Synapse Analytics, SQL Server habilitado para Azure Arc, Azure Blob Storage, Azure Files, Azure Cosmos DB, Azure Data Explorer, Azure Database for MySQL, Azure Database for PostgreSQL, grupo de Azure SQL dedicado, Azure Machine Learning, Azure SQL Database e instancia administrada de Azure SQL. Para estos orígenes, cuando se elimina un recurso del origen de datos, los exámenes posteriores quitarán automáticamente los metadatos y el linaje correspondientes en Microsoft Purview.

Ingesta

La ingesta es el proceso que rellena el mapa de datos con metadatos recopilados a través de sus diversos procesos.

Nota:

El recuento combinado de todos los objetos secundarios (entidades referidas) y contactos (propietario, experto) no debe superar las 20 000 entidades.

Ingesta de exámenes

El proceso de escaneo identifica metadatos técnicos o clasificaciones y los envía a la ingesta. La ingesta analiza la entrada del examen, aplica patrones de conjunto de recursos, rellena la información de linaje disponible y, a continuación, carga automáticamente el mapa de datos. Puede descubrir o seleccionar activos y esquemas solo después de que se complete la ingesta. Si se completa el examen, pero no ve los activos en el mapa de datos o en el catálogo, debe esperar a que finalice el proceso de ingesta.

Ingesta desde conexiones de linaje

Puede conectar recursos como Azure Data Factory y Azure Synapse a Microsoft Purview para incorporar la información de linaje y origen de datos en Data Map. Por ejemplo, cuando se ejecuta una canalización de copia en una instancia de Azure Data Factory que conectó a Microsoft Purview, el servicio ingiere metadatos sobre los orígenes de entrada, la actividad y los orígenes de salida. La información se agrega al mapa de datos.

Si agrega un origen de datos a Data Map a través de un escaneo, la información de linaje sobre la actividad se agrega al origen existente. Si aún no ha agregado el origen de datos a Data Map, el proceso de ingesta de linaje lo agrega a la colección raíz con su información de linaje.

Para obtener más información sobre las conexiones de linaje disponibles, consulte la guía del usuario de linaje.

Pasos siguientes

Para obtener más información o instrucciones específicas sobre cómo examinar los orígenes, siga los siguientes vínculos.

• Descripción de los conjuntos de recursos
• Cómo gobernar una instancia de Azure SQL Database
• Linaje en Microsoft Purview