Adatminőség és minőségfigyelés
Az Azure Operator Elemzések platformon dolgozó összes adattermék beépített támogatást nyújt az adatminőség-monitorozáshoz. Az adatminőség kulcsfontosságú, mert pontos, megbízható és megbízható információkat biztosít a döntéshozatalhoz. Megakadályozza a költséges hibákat, hitelességet épít ki az ügyfelekkel és a szabályozókkal, és személyre szabott élményt tesz lehetővé.
Az Azure Operator Elemzések platform figyeli az adatminőséget, amikor az adatokat adattermék bemeneti tárolójába (az alábbi képen az első AOI-adattermék-tárolóblokkba) betöltik, és az adatok feldolgozását és az ügyfelek számára elérhetővé teszik (az AOI-adattermék-számítást a következő képen).
Minőségi dimenziók
Az adatminőségi dimenziók az adatok minőségét meghatározó különböző szempontok vagy jellemzők. Az Azure Operator Elemzések a következő dimenziókat támogatja:
- Pontosság – Azt jelzi, hogy az adatok mennyire tükrözik a valóságot, például helyes neveket, címeket és naprakész adatokat. A nagy adatpontosság lehetővé teszi olyan elemzések készítését, amelyek megbízhatóak, és megfelelő jelentéskészítéshez és magabiztos döntéshozatalhoz vezetnek.
- Teljesség – Azt jelzi, hogy az adott felhasználáshoz szükséges összes adat jelen van-e, és elérhető-e a felhasználáshoz. A teljesség nem csak az adatelem szintjén, hanem a rekord szintjén is érvényes. A teljesség segít megérteni, hogy a hiányzó adatok befolyásolják-e az adatokból származó megállapítások megbízhatóságát.
- Egyediség – Az adathalmazban lévő ismétlődések hiányára utal.
- Konzisztencia – Azt jelzi, hogy ugyanaz az adatelem nem ütközik-e különböző források között vagy idővel. A konzisztencia biztosítja, hogy az adatok egységesek legyenek, és különböző forrásokban összehasonlíthatók legyenek.
- Idősorok – Azt jelzi, hogy az adatok naprakészek-e, és szükség esetén elérhetők-e. Az ütemtervek biztosítják, hogy az adatok relevánsak és hasznosak a döntéshozatalhoz.
- Érvényesség – Azt jelzi, hogy az adatok megfelelnek-e egy meghatározott szabálykészletnek vagy korlátozásnak.
Mérőszámok
Minden adatminőségi dimenziót az Azure Operator Elemzések platform által előállított minőségi metrikák fednek le. A minőségi metrikáknak két típusa van:
- Alapszintű – Standard ellenőrzési készlet az összes adattermékre vonatkozóan.
- Egyéni – Egyéni ellenőrzőkészlet, amely lehetővé teszi, hogy minden adattermék a termékére jellemző ellenőrzéseket implementáljon.
A platform által előállított alapvető minőségi metrikák az alábbi táblázatban érhetők el.
| Metrika | Dimenzió | Adatforrás |
|---|---|---|
| Betöltési sorok száma | Időszerűség | Lenyelik |
| A kötelező oszlopokhoz null értéket tartalmazó sorok száma | Teljességét | Lenyelik |
| A sémán alapuló sikertelen érvényesítés során meghiúsult sorok száma | Érvényességét | Lenyelik |
| Szűrt sorok száma | Teljességét | Lenyelik |
| Feldolgozott sorok száma | Időszerűség | Feldolgozva |
| Hiányos sorok száma, amelyek nem tartalmaznak kötelező adatokat | Teljességét | Feldolgozva |
| Duplikált sorok száma | Egyediség | Feldolgozva |
| Percentilisek a rekordlétrehozás és a lekérdezések közötti általános késéshez | Időszerűség | Feldolgozva |
| Percentilisek a rekordlétrehozás és a bemeneti tárolóba való betöltés közötti késéshez | Időszerűség | Feldolgozva |
| Percentilisek a betöltött és feldolgozott adatok közötti késéshez | Időszerűség | Feldolgozva |
| Percentilisek a feldolgozott és a lekérdezéshez elérhető adatok közötti késéshez | Időszerűség | Feldolgozva |
| Korok a materializált nézetekhez | Időszerűség | Feldolgozva |
Az egyéni adatminőségi metrikák adattermékenként vannak implementálva. Ezek a metrikák a pontosság és a konzisztencia dimenzióit fedik le. A Data Product dokumentációja az elérhető egyéni minőségi metrikák leírását tartalmazza.
Figyelés
Minden Azure Operator Insight-adattermék üzembe helyezése egy minőségi metrikákat megjelenítő irányítópulttal. Az irányítópult használatával monitorozhatja az adataik minőségét.
A rendszer minden adatminőségi metrikát a Data Product ADX-táblákba ment. Az adatminőségi metrikák feltárásához használhatja a standard data product KQL-végpontot, majd szükség esetén kibővítheti az irányítópultot.