Monitorování kvality a kvality dat

Každý datový produkt pracující na platformě Azure Operator Přehledy má integrovanou podporu monitorování kvality dat. Kvalita dat je důležitá, protože zajišťuje přesné, spolehlivé a důvěryhodné informace pro rozhodování. Brání nákladným chybám, vytváří důvěryhodnost zákazníků a regulačních orgánů a umožňuje přizpůsobené prostředí.

Operátor Azure Přehledy platformě monitoruje kvalitu dat, když se data ingestují do vstupního úložiště datového produktu (vstupní blok datového produktu na následujícím obrázku) a po zpracování a zpřístupnění dat zákazníkům (blok Výpočetní prostředky datového produktu na následujícím obrázku).

Diagram architektury Přehledy operátora Azure Ukazuje příjem dat agenty příjmu dat z místních zdrojů dat, zpracování v datovém produktu a analýzu a použití v Logic Apps a Power BI.

Rozměry kvality

Dimenze kvality dat jsou různé aspekty nebo charakteristiky, které definují kvalitu dat. Operátor Azure Přehledy podporuje následující dimenze:

• Přesnost – Odkazuje na to, jak dobře data odrážejí realitu, například správná jména, adresy a aktuální data. Vysoká přesnost dat umožňuje vytvářet analýzy, které můžou být důvěryhodné a vedou ke správnému rozhodování o vytváření sestav a jistoty.
• Úplnost – Označuje, zda jsou všechna data požadovaná pro konkrétní použití přítomná a dostupná k použití. Úplnost platí nejen na úrovni datové položky, ale také na úrovni záznamu. Úplnost pomáhá pochopit, jestli chybějící data ovlivní spolehlivost přehledů z dat.
• Jedinečnost – odkazuje na absence duplicit v datové sadě.
• Konzistence – Odkazuje na to, zda stejný datový prvek není v konfliktu mezi různými zdroji nebo v průběhu času. Konzistence zajišťuje jednotnost dat a je možné je porovnat napříč různými zdroji.
• Časová dostupnost – Označuje, jestli jsou data v případě potřeby aktuální a dostupná. Aktuálnost zajišťuje, aby data byla relevantní a užitečná pro rozhodování.
• Platnost – Odkazuje na to, zda jsou data v souladu s definovanou sadou pravidel nebo omezení.

Metriky

Všechny dimenze kvality dat jsou pokryty metrikami kvality vytvořenými operátorem Azure Přehledy platformou. Existují dva typy metrik kvality:

• Základní – standardní sada kontrol ve všech datových produktech.
• Vlastní – vlastní sada kontrol, která umožňuje všem datovým produktům implementovat kontroly specifické pro jejich produkt.

Základní metriky kvality vytvořené platformou jsou k dispozici v následující tabulce.

Metrika	Dimenze	Zdroj dat
Počet přijatých řádků	Včasnost	Požití
Počet řádků obsahujících hodnotu null pro požadované sloupce	Úplnost	Požití
Počet řádků, které selhaly při ověřování schématu	Platnost	Požití
Počet odfiltrovaných řádků	Úplnost	Požití
Počet zpracovaných řádků	Včasnost	Zpracováno jako
Počet neúplných řádků, které neobsahují požadovaná data	Úplnost	Zpracováno jako
Počet duplicitních řádků	Jedinečnost	Zpracováno jako
Percentily pro celkovou prodlevu mezi generováním záznamů a dostupnými pro dotazování	Včasnost	Zpracováno jako
Percentily pro prodlevu mezi generováním záznamů a ingestování do vstupního úložiště	Včasnost	Zpracováno jako
Percentily pro prodlevu mezi přijatými a zpracovanými daty	Včasnost	Zpracováno jako
Percentily pro prodlevu mezi zpracovanými a dostupnými daty pro dotazování	Včasnost	Zpracováno jako
Věk pro materializovaná zobrazení	Včasnost	Zpracováno jako

Metriky kvality vlastních dat se implementují na základě jednotlivých datových produktů. Tyto metriky pokrývají přesnost a dimenze konzistence. Dokumentace k datovému produktu obsahuje popis dostupných metrik vlastní kvality.

Sledování

Všechny datové produkty Přehled operátora Azure se nasazují s řídicím panelem zobrazujícím metriky kvality. Pomocí řídicího panelu můžete monitorovat kvalitu jejich dat.

Všechny metriky kvality dat se ukládají do tabulek ADX datového produktu. Ke zkoumání metrik kvality dat můžete použít standardní koncový bod KQL datového produktu a v případě potřeby řídicí panel rozšířit.