Datenqualitäts- und Qualitätsüberwachung

Jedes Datenprodukt, das auf der Azure Operator Insights-Plattform läuft, bietet integrierte Unterstützung für die Datenqualitätsüberwachung. Die Datenqualität ist von entscheidender Bedeutung, da sie präzise, zuverlässige und vertrauenswürdige Informationen für die Entscheidungsfindung sicherstellt. Sie verhindert kostspielige Fehler, baut Glaubwürdigkeit mit Kunden und Regulierungsbehörden auf und ermöglicht personalisierte Erfahrungen.

Die Azure Operator Insights-Plattform überwacht die Datenqualität, wenn Daten in den Dateneingabespeicher des Produkts aufgenommen werden (der Dateneingabeblock des Produkts in der folgenden Abbildung) und nachdem Daten verarbeitet und für Kunden zur Verfügung gestellt wurden (der Datenberechnungsblock des Produkts in der folgenden Abbildung).

Diagramm der Azure Operator Insights-Architektur. Es zeigt die Erfassung durch Erfassungs-Agents aus lokalen Datenquellen, die Verarbeitung in einem Datenprodukt und die Analyse und Verwendung in Logic Apps und Power BI an.

Dimensionen der Qualität

Datenqualitätsdimensionen sind die verschiedenen Aspekte oder Merkmale, die die Qualität der Daten definieren. Azure Operator Insights unterstützt die folgenden Dimensionen:

• Genauigkeit – bezieht sich darauf, wie gut die Daten die Realität widerspiegeln, z. B. korrekte Namen, Adressen und aktuelle Daten. Mit einer hohen Datengenauigkeit können Sie Analysen erstellen, die vertrauenswürdig sind und zu korrekten Berichten und einer sicheren Entscheidungsfindung führen.
• Vollständigkeit – bezieht sich darauf, ob alle Daten, die für eine bestimmte Verwendung nötig sind, vorhanden und verfügbar sind. Die Vollständigkeit gilt nicht nur auf Datenelementebene, sondern auch auf Datensatzebene. Die Vollständigkeit hilft zu verstehen, ob fehlende Daten die Zuverlässigkeit von Erkenntnissen aus den Daten beeinflussen.
• Eindeutigkeit – bezieht sich auf die Abwesenheit von Duplikaten in einem Dataset.
• Konsistenz – bezieht sich darauf, ob dasselbe Datenelement nicht über verschiedene Quellen oder im Laufe der Zeit in Konflikt steht. Die Konsistenz stellt sicher, dass Daten einheitlich sind und über verschiedene Quellen hinweg verglichen werden können.
• Aktualität – bezieht sich darauf, ob die Daten bei Bedarf aktuell und verfügbar sind. Die Aktualität gewährleistet, dass Daten für die Entscheidungsfindung relevant und nützlich sind.
• Gültigkeit – bezieht sich darauf, ob die Daten einem definierten Satz von Regeln oder Einschränkungen entsprechen.

Metriken

Alle Dimensionen der Datenqualität werden durch Qualitätsmetriken abgedeckt, die von der Azure Operator Insights-Plattform erstellt werden. Es gibt zwei Arten von Qualitätsmetriken:

• Grundlegend – Standard-Prüfsätze für alle Datenprodukte.
• Benutzerdefiniert – Benutzerdefinierter Prüfsatz, sodass alle Datenprodukte Überprüfungen implementieren können, die für ihr Produkt spezifisch sind.

Die von der Plattform erzeugten grundlegenden Qualitätsmetriken sind in der folgenden Tabelle verfügbar.

Metrik	Dimension	Datenquelle
Anzahl der erfassten Zeilen	Aktualität	Erfasst
Anzahl der Zeilen, die Null für erforderliche Spalten enthalten	Vollständigkeit	Erfasst
Anzahl der Zeilen, die nicht gegen das Schema validiert werden konnten	Gültigkeitsdauer	Erfasst
Anzahl gefilterter Zeilen	Vollständigkeit	Erfasst
Anzahl der verarbeiteten Zeilen	Aktualität	Verarbeitet
Anzahl unvollständiger Zeilen, die keine erforderlichen Daten enthalten	Vollständigkeit	Verarbeitet
Anzahl doppelter Zeilen	Eindeutigkeit	Verarbeitet
Perzentile für die Gesamtverzögerung zwischen Datensatzerstellung und Verfügbarkeit für Abfragen	Aktualität	Verarbeitet
Perzentile für Verzögerungen zwischen der Datensatzgenerierung und der Aufnahme in den Eingabespeicher	Aktualität	Verarbeitet
Perzentile für Verzögerungen zwischen erfassten und verarbeiteten Daten	Aktualität	Verarbeitet
Perzentile für Verzögerung zwischen verarbeiteten Daten und der Verfügbarkeit für Abfragen	Aktualität	Verarbeitet
Alter für materialisierte Sichten	Aktualität	Verarbeitet

Die benutzerdefinierten Datenqualitätsmetriken werden per Datenprodukt implementiert. Diese Metriken decken die Dimensionen „Genauigkeit“ und „Konsistenz“ ab. Die Datenproduktdokumentation enthält eine Beschreibung der verfügbaren benutzerdefinierten Qualitätsmetriken.

Überwachung

Alle Azure Operator Insight-Datenprodukte werden mit einem Dashboard bereitgestellt, das Qualitätsmetriken anzeigt. Sie können das Dashboard verwenden, um die Qualität ihrer Daten zu überwachen.

Alle Datenqualitätsmetriken werden in den Datenprodukt-ADX-Tabellen gespeichert. Zum Durchsuchen der Datenqualitätsmetriken können Sie den standardmäßigen KQL-Endpunkt für das Datenprodukt verwenden und das Dashboard bei Bedarf erweitern.