Compartir a través de

Calidad de los datos y supervisión de la calidad

  • Artículo

Cada producto de datos que trabaja en la plataforma Azure Operator Insights tiene compatibilidad integrada con la supervisión de la calidad de los datos. La calidad de los datos es fundamental porque garantiza información precisa, confiable y fidedigna para la toma de decisiones. Evita errores costosos, forja credibilidad ante clientes y reguladores y permite experiencias personalizadas.

La plataforma Azure Operator Insights supervisa la calidad de los datos cuando se ingieren datos en el almacenamiento de entrada del producto de datos (el bloque Data Product Input en la siguiente imagen) y después de que los datos se procesan y se ponen a disposición de los clientes (el bloque Data Product Compute en la siguiente imagen).

Diagrama de agentes de ingesta y productos de datos para Azure Operator Insights

Dimensiones de calidad

Las dimensiones de calidad de los datos son los distintos aspectos o características que definen la calidad de los datos. Azure Operator Insights admite las siguientes dimensiones:

  • Precisión: hace referencia al grado en que los datos reflejan la realidad; por ejemplo, nombres correctos, direcciones y datos actualizados. Una gran precisión de los datos permite elaborar análisis fiables, lo que se traduce en informes correctos y una toma de decisiones segura.
  • Integridad: hace referencia a si todos los datos necesarios para un uso concreto están presentes y disponibles para su uso. La integridad se aplica no solo a nivel de elemento de datos, sino también a nivel de registro. La integridad ayuda a comprender si los datos que faltan afectarán a la confiabilidad de la información obtenida a partir de los datos.
  • Unicidad: hace referencia a la ausencia de duplicados en un conjunto de datos.
  • Coherencia: hace referencia a si el mismo elemento de datos no entra en conflicto entre distintos orígenes o a lo largo del tiempo. La coherencia garantiza que los datos sean uniformes y se puedan comparar entre diferentes orígenes.
  • Puntualidad: hace referencia a si los datos están actualizados y disponibles cuando sea necesario. La puntualidad garantiza que los datos sean relevantes y útiles para la toma de decisiones.
  • Validez: hace referencia a si los datos se ajustan a un conjunto definido de reglas o restricciones.

Métricas

Todas las dimensiones de calidad de los datos están cubiertas por métricas de calidad generadas por la plataforma Azure Operator Insights. Hay dos tipos de métricas de calidad:

  • Básico: conjunto estándar de comprobaciones en todos los productos de datos.
  • Personalizado: conjunto personalizado de comprobaciones, lo que permite que todos los productos de datos implementen comprobaciones específicas de su producto.

Las métricas de calidad básicas generadas por la plataforma están disponibles en la tabla siguiente.

Métrica Dimensión Origen de datos
Número de filas ingeridas Puntualidad Ingerido
Número de filas que contienen null para las columnas necesarias Integridad Ingerido
Número de filas con errores de validación en el esquema Validez Ingerido
Número de filas filtradas Integridad Ingerido
Número de filas procesadas Puntualidad Procesado
Número de filas incompletas, que no contienen datos necesarios Integridad Procesado
Número de filas duplicadas Unicidad Procesado
Percentiles para el retraso general entre la generación de registros y disponibles para hacer consultas Puntualidad Procesado
Percentiles para el retraso entre la generación de registros e ingeridos en el almacenamiento de entrada Puntualidad Procesado
Percentiles para el retraso entre los datos ingeridos y los procesados Puntualidad Procesado
Percentiles para el retraso entre los datos procesados y los disponibles para hacer consultas Puntualidad Procesado
Antigüedades para vistas materializadas Puntualidad Procesado

Las métricas de calidad de datos personalizadas se implementan por producto de datos. Estas métricas cubren las dimensiones de precisión y coherencia. La documentación del producto de datos contiene la descripción de las métricas de calidad personalizadas disponibles.

Supervisión

Todos los productos de datos de Azure Operator Insight se implementan con un panel que muestra métricas de calidad. Puede usar el panel para supervisar la calidad de sus datos.

Todas las métricas de calidad de los datos se guardan en las tablas ADX del producto de datos. Para explorar las métricas de calidad de los datos, puede usar el punto de conexión KQL estándar del producto de datos y, después, ampliar el panel si es necesario.