Udostępnij za pośrednictwem

Monitorowanie jakości i jakości danych

  • Artykuł

Każdy produkt danych pracujący nad platformą Azure Operator Szczegółowe informacje ma wbudowaną obsługę monitorowania jakości danych. Jakość danych ma kluczowe znaczenie, ponieważ zapewnia dokładne, niezawodne i wiarygodne informacje na potrzeby podejmowania decyzji. Zapobiega to kosztownym błędom, buduje wiarygodność z klientami i organami regulacyjnymi oraz umożliwia spersonalizowane środowiska.

Platforma Azure Operator Szczegółowe informacje monitoruje jakość danych, gdy dane są pozyskiwane do magazynu danych wejściowych produktu (blok Dane wejściowe produktu na poniższej ilustracji) oraz po przetworzeniu i udostępnieniu danych klientom (blok Obliczenia produktu danych na poniższej ilustracji).

Diagram agentów pozyskiwania i produktów danych dla operatora platformy Azure Szczegółowe informacje

Wymiary jakości

Wymiary jakości danych to różne aspekty lub cechy definiujące jakość danych. Operator platformy Azure Szczegółowe informacje obsługuje następujące wymiary:

  • Dokładność — odnosi się do tego, jak dobrze dane odzwierciedlają rzeczywistość, na przykład poprawne nazwy, adresy i aktualne dane. Wysoka dokładność danych umożliwia tworzenie analiz, które mogą być zaufane i prowadzi do poprawnego raportowania i pewności podejmowania decyzji.
  • Kompletność — określa, czy wszystkie dane wymagane do określonego użycia są obecne i dostępne do użycia. Kompletność ma zastosowanie nie tylko na poziomie elementu danych, ale także na poziomie rekordu. Kompletność pomaga zrozumieć, czy brakujące dane wpłyną na niezawodność szczegółowych informacji z danych.
  • Unikatowość — odnosi się do braku duplikatów w zestawie danych.
  • Spójność — odnosi się do tego, czy ten sam element danych nie powoduje konfliktu między różnymi źródłami lub w czasie. Spójność gwarantuje, że dane są jednolite i można je porównać w różnych źródłach.
  • Osie czasu — określa, czy dane są aktualne i dostępne w razie potrzeby. Terminy zapewniają, że dane są istotne i przydatne do podejmowania decyzji.
  • Ważność — określa, czy dane są zgodne ze zdefiniowanym zestawem reguł lub ograniczeń.

Metryki

Wszystkie wymiary jakości danych są objęte metrykami jakości utworzonymi przez platformę Azure Operator Szczegółowe informacje. Istnieją dwa typy metryk jakości:

  • Podstawowy — standardowy zestaw kontroli we wszystkich produktach danych.
  • Niestandardowy — niestandardowy zestaw testów, dzięki któremu wszystkie produkty danych mogą implementować kontrole specyficzne dla ich produktu.

Podstawowe metryki jakości tworzone przez platformę są dostępne w poniższej tabeli.

Metryka Wymiar Źródło danych
Liczba pozyskanych wierszy Terminowość Spożycia
Liczba wierszy zawierających wartość null dla wymaganych kolumn Kompletności Spożycia
Sprawdzanie poprawności wierszy zakończonych niepowodzeniem względem schematu Poprawność Spożycia
Liczba odfiltrowanych wierszy Kompletności Spożycia
Liczba przetworzonych wierszy Terminowość Przetworzone
Liczba niekompletnych wierszy, które nie zawierają wymaganych danych Kompletności Przetworzone
Liczba zduplikowanych wierszy Unikatowość Przetworzone
Percentyle dla ogólnego opóźnienia między generowaniem rekordów i dostępnymi do wykonywania zapytań Terminowość Przetworzone
Percentyle dla opóźnienia między generowaniem rekordu a pozyskiwaniem do magazynu wejściowego Terminowość Przetworzone
Percentyle dla opóźnienia między pozyskanych i przetworzonych danych Terminowość Przetworzone
Percentyle dla opóźnienia między przetworzonymi danymi i dostępnymi do wykonywania zapytań Terminowość Przetworzone
Wiek zmaterializowanych widoków Terminowość Przetworzone

Niestandardowe metryki jakości danych są implementowane dla poszczególnych produktów danych. Te metryki obejmują wymiary dokładności i spójności. Dokumentacja produktu data zawiera opis dostępnych niestandardowych metryk jakości.

Monitorowanie

Wszystkie produkty danych usługi Azure Operator Insight są wdrażane z pulpitem nawigacyjnym przedstawiającym metryki jakości. Pulpit nawigacyjny służy do monitorowania jakości danych.

Wszystkie metryki jakości danych są zapisywane w tabelach Data Product ADX. W celu eksplorowania metryk jakości danych można użyć standardowego punktu końcowego KQL produktu danych, a następnie rozszerzyć pulpit nawigacyjny w razie potrzeby.