Övervakning av datakvalitet och kvalitet
Varje dataprodukt som arbetar med Azure Operator Insights-plattformen har inbyggt stöd för övervakning av datakvalitet. Datakvaliteten är avgörande eftersom den säkerställer korrekt, tillförlitlig och tillförlitlig information för beslutsfattande. Det förhindrar kostsamma misstag, skapar trovärdighet hos kunder och tillsynsmyndigheter och möjliggör personliga upplevelser.
Azure Operator Insights-plattformen övervakar datakvaliteten när data matas in i dataproduktindatalagring (första AOI-dataproduktlagringsblocket i följande bild) och efter att data har bearbetats och gjorts tillgängliga för kunder (AOI Data Product Compute i följande bild).
Kvalitetsdimensioner
Datakvalitetsdimensioner är de olika aspekter eller egenskaper som definierar datakvaliteten. Azure Operator Insights stöder följande dimensioner:
- Noggrannhet – Refererar till hur väl data återspeglar verkligheten, till exempel rätt namn, adresser och aktuella data. Med hög datanoggrannhet kan du skapa analyser som kan vara betrodda och leder till korrekt rapportering och säkert beslutsfattande.
- Fullständighet – Refererar till om alla data som krävs för en viss användning finns och är tillgängliga för användning. Fullständighet gäller inte bara på dataobjektsnivå utan även på postnivå. Fullständighet hjälper dig att förstå om saknade data påverkar tillförlitligheten för insikter från data.
- Unikhet – refererar till frånvaron av dubbletter i en datauppsättning.
- Konsekvens – refererar till om samma dataelement inte står i konflikt mellan olika källor eller över tid. Konsekvens säkerställer att data är enhetliga och kan jämföras mellan olika källor.
- Aktualitet – refererar till om data är uppdaterade och tillgängliga när det behövs. Aktualitet säkerställer att data är relevanta och användbara för beslutsfattande.
- Giltighet – Refererar till om data överensstämmer med en definierad uppsättning regler eller begränsningar.
Mått
Alla datakvalitetsdimensioner omfattas av kvalitetsmått som produceras av Azure Operator Insights-plattformen. Det finns två typer av kvalitetsmått:
- Basic – Standarduppsättning med kontroller för alla dataprodukter.
- Anpassad – Anpassad uppsättning kontroller, vilket gör att alla dataprodukter kan implementera kontroller som är specifika för deras produkt.
De grundläggande kvalitetsmåtten som skapas av plattformen är tillgängliga i följande tabell.
| Mått | Dimension | Datakälla |
|---|---|---|
| Antal inmatade rader | Aktualitet | Förtäring |
| Antal rader som innehåller null för obligatoriska kolumner | Fullständighet | Förtäring |
| Antal rader som inte kunde verifieras mot schemat | Giltighet | Förtäring |
| Antal filtrerade rader | Fullständighet | Förtäring |
| Antal bearbetade rader | Aktualitet | Bearbetade |
| Antal ofullständiga rader som inte innehåller nödvändiga data | Fullständighet | Bearbetade |
| Antal duplicerade rader | Unikhet | Bearbetade |
| Percentiler för total fördröjning mellan postgenerering och tillgängligt för frågor | Aktualitet | Bearbetade |
| Percentiler för fördröjning mellan postgenerering och inmatad i indatalagring | Aktualitet | Bearbetade |
| Percentiler för fördröjning mellan data som matas in och bearbetas | Aktualitet | Bearbetade |
| Percentiler för fördröjning mellan data som bearbetas och är tillgängliga för frågor | Aktualitet | Bearbetade |
| Åldrar för materialiserade vyer | Aktualitet | Bearbetade |
Måtten för anpassad datakvalitet implementeras per dataprodukt. Dessa mått täcker noggrannhets- och konsekvensdimensionerna. Dokumentationen om dataprodukt innehåller en beskrivning av tillgängliga anpassade kvalitetsmått.
Övervakning
Alla Azure Operator Insight-dataprodukter distribueras med en instrumentpanel som visar kvalitetsmått. Du kan använda instrumentpanelen för att övervaka kvaliteten på deras data.
Alla datakvalitetsmått sparas i ADX-tabellerna för dataprodukt. För att utforska datakvalitetsmåtten kan du använda KQL-slutpunkten för standarddataprodukt och sedan utöka instrumentpanelen om det behövs.