Información general sobre la calidad de los datos en el Catálogo unificado de Microsoft Purview

La calidad de los datos en el Catálogo unificado de Microsoft Purview permite al dominio de gobierno y a los propietarios de datos evaluar y supervisar la calidad de su ecosistema de datos, lo que facilita acciones específicas para la mejora. En el panorama actual impulsado por la IA, la confiabilidad de los datos afecta directamente a la precisión de las conclusiones y recomendaciones impulsadas por IA. Sin datos fiables, se corre el riesgo de erosionar la confianza en los sistemas de IA y obstaculizar su adopción.

La mala calidad de los datos o las estructuras de datos incompatibles pueden obstaculizar los procesos empresariales y la capacidad de toma de decisiones. La calidad de los datos en el Catálogo unificado aborda estos desafíos al ofrecer a los usuarios la capacidad de evaluar la calidad de los datos mediante reglas sin código o de bajo código, incluidas las reglas listas para usar (OOB) y las reglas generadas por IA. Estas reglas se aplican a nivel de columna y se agregan para proporcionar puntuaciones en los niveles de activos de datos, productos de datos y dominios de gobernanza, lo que garantiza la visibilidad de un extremo a otro de la calidad de los datos dentro de cada dominio.

La calidad de los datos en Microsoft Purview también incorpora capacidades de generación de perfiles de datos con tecnología de IA, que recomiendan columnas para la generación de perfiles y permiten la intervención humana para refinar estas recomendaciones. Este proceso iterativo no solo mejora la precisión de la generación de perfiles de datos, sino que también contribuye a la mejora continua de los modelos de IA subyacentes.

Al aplicar la calidad de los datos, las organizaciones pueden medir, supervisar y mejorar eficazmente la calidad de sus activos de datos, reforzando la fiabilidad de la información basada en IA y fomentando la confianza en los procesos de toma de decisiones basados en IA.

Ciclo de vida de la calidad de datos

  1. Asigne permisos de administrador de calidad de datos de los usuarios en el Catálogo unificado para utilizar todas las características de calidad de datos.
  2. Registre y digitalice un origen de datos en el Mapa de datos de Microsoft Purview.
  3. Agregar su activo de datos a un producto de datos
  4. Configure una conexión de origen de datos para preparar el origen para la evaluación de la calidad de los datos.
  5. Configure y ejecute la generación de perfiles de datos para un recurso en el origen de datos.
    1. Una vez completada la generación de perfiles, examine los resultados de cada columna del recurso de datos para comprender la estructura y el estado actuales de los datos.
  6. Configure reglas de calidad de datos basadas en los resultados de la generación de perfiles y aplíquelas a su activo de datos.
  7. Configure y ejecute un examen de calidad de datos en un producto de datos para evaluar la calidad de todos los activos admitidos en el producto de datos.
  8. Revise los resultados del examen para evaluar la calidad actual de los datos de su producto de datos.
  9. Repita los pasos 5-8 periódicamente durante el ciclo de vida del recurso de datos para asegurarse de que mantiene la calidad.
  10. Supervise continuamente la calidad de sus datos
    1. Revise las acciones de calidad de datos para identificar y resolver problemas.
    2. Establecer notificaciones de calidad de datos para alertarle de problemas de calidad.

Regiones de calidad de datos admitidas

Actualmente , se admite la calidad de datos en las siguientes regiones.

Importante

La funcionalidad Calidad de datos solo se admite cuando las cuentas y los orígenes de datos se encuentran en las regiones admitidas por Purview. Los orígenes de datos y la cuenta de Purview deben estar en la misma región de Azure. Los límites de ejecución de trabajos de calidad de datos simultáneos son:

  • Análisis manuales: máximo de 10 trabajos simultáneos.
  • Análisis programados: máximo de 25 trabajos simultáneos.
  • Perfil manual: máximo de 10 trabajos de generación de perfiles simultáneos.
  • Sugerencia de regla de calidad de datos: máximo de 10 trabajos simultáneos.

Orígenes de datos multinube compatibles

Vea la lista de orígenes de datos admitidos.

Importante

La calidad de los datos de los archivos Parquet está diseñada para admitir:

  1. Un directorio con el archivo de pieza de parquet. Por ejemplo: ./Sales/{Parquet Part Files}. El nombre completo debe ir seguido de https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}. Asegúrese de que la estructura de directorios y subdirectorios no incluya patrones {n}. En su lugar, use un FQN directo que conduzca a {SparkPartitions}.
  2. Directorio con archivos Parquet con particiones, particionados por columnas dentro del conjunto de datos, como datos de ventas particionados por año y mes. Por ejemplo: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Se admiten estos dos escenarios básicos, que presentan un esquema de conjunto de datos de Parquet coherente. Limitación: La calidad de los datos no está diseñada para admitir jerarquías arbitrarias de directorios con archivos Parquet. Recomendamos presentar los datos en la (1) o (2) estructura construida.

Actualmente, Microsoft Purview solo puede ejecutar análisis de calidad de los datos mediante la identidad administrada como opción de autenticación. Los servicios de calidad de datos se ejecutan en Apache Spark 3.5 y Delta Lake 3.2.1.

Características de calidad de datos

  • Configuración de la conexión al origen de datos
    • Configure la conexión para permitir que la aplicación SaaS de calidad de datos de Microsoft Purview tenga acceso de lectura a los datos para un análisis y generación de perfiles de calidad.
    • Microsoft Purview usa la identidad administrada como una opción de autenticación.
  • Generación de perfiles de datos
    • Experiencia de generación de perfiles de datos habilitada para IA.
    • Instantánea estadística estándar del sector (distribución, mínimo, máximo, desviación estándar, singularidad, integridad, duplicado, etc.).
    • Medidas de generación de perfiles a nivel de columna en profundidad.
  • Reglas de calidad de datos
    • Reglas listas para usar para medir seis dimensiones de calidad de datos estándar del sector (integridad, coherencia, conformidad, precisión, frescura y singularidad).
    • Las características de creación de reglas personalizadas incluyen un número de funciones listas para usar y valores de expresión.
    • Reglas generadas automáticamente con experiencia integrada de IA.
  • Examen de la calidad de los datos
    • Seleccione y asigne reglas a las columnas para el examen de la calidad de los datos.
    • Aplique la regla de actualización de datos en el nivel de entidad o tabla para medir el SLA de actualización de datos.
    • Programando el trabajo de análisis de la calidad de los datos para el período de tiempo (por hora, diario, semanal, mensual y más).
  • Supervisión de trabajos de calidad de datos
    • Habilite la supervisión del estado del trabajo de calidad de datos (activo, completado, con errores, etc.).
    • Habilita la exploración del historial de análisis de calidad de datos.
  • Puntuación de calidad de datos
    • Puntuación de calidad de los datos en el nivel de regla (cuál es la puntuación de calidad de una regla que se ha aplicado a una columna)?
    • Puntuación de calidad de datos para activos de datos, productos de datos y dominios de gobierno (un dominio de gobierno puede tener muchos productos de datos, un producto de datos puede tener muchos activos de datos, un activo de datos puede tener muchas columnas de datos).
  • Alertas de calidad de datos
    • Configure alertas para notificar a los propietarios de datos y administradores de datos si el umbral de calidad de datos no cumple con las expectativas.
    • Configure el alias de correo electrónico o el grupo de distribución para enviar la notificación sobre problemas de calidad de datos.
  • Acciones de calidad de datos
    • Centro de actividades para la calidad de datos con acciones para abordar los estados de anomalía de la calidad de los datos, incluidas consultas de diagnóstico para que el administrador de calidad de datos se centre en los datos específicos que se van a corregir para cada estado de anomalía.
  • Red virtual administrada de calidad de datos
    • Una red virtual administrada por calidad de datos que se conecta con puntos de conexión privados a sus orígenes de datos de Microsoft Azure.

Residencia y cifrado de datos

La cuenta de almacenamiento administrado de Microsoft almacena un resumen de generación de perfiles y metadatos de calidad de datos. Las almacena en la misma región que el origen de datos, por lo que la residencia de datos permanece intacta. Todos los datos están cifrados. El almacén de datos de usuario regional del proveedor de recursos de Purview se usa para los metadatos. Controla todo el cifrado y es común en todos los servicios de Purview. Si desea tener más control sobre el cifrado de datos con una clave de cifrado administrada por el cliente (CMK), use un proceso independiente. Obtén más información sobre la clave de cliente de Microsoft Purview.

Precios de proceso de calidad de datos

El uso de la calidad de los datos se factura en función de los medidores de pago por uso de la Unidad de procesamiento de gobernanza de datos (DGPU). Obtén información detallada sobre cómo se calculan los precios para la calidad de los datos.

Limitaciones

Contenido relacionado

Pasos siguientes

  1. Asigne a los usuarios permisos de administrador de calidad de datos en el Catálogo unificado para que puedan utilizar todas las características de calidad de datos.
  2. Configure una conexión de origen de datos para preparar el origen para una evaluación de la calidad de los datos.
  3. Configure y ejecute la generación de perfiles de datos para un recurso en el origen de datos.
  • Last updated on