Monitoraggio della qualità e della qualità dei dati

Ogni prodotto dati che lavora sulla piattaforma Azure Operator Insights include il supporto predefinito per il monitoraggio della qualità dei dati. La qualità dei dati è fondamentale perché garantisce informazioni accurate, affidabili e affidabili per il processo decisionale. Impedisce errori costosi, crea credibilità con clienti e regolatori e consente esperienze personalizzate.

La piattaforma Azure Operator Insights monitora la qualità dei dati quando i dati vengono inseriti nell'archiviazione di input del prodotto dati (blocco Input prodotto dati nell'immagine seguente) e dopo l'elaborazione e la disponibilità dei dati ai clienti (blocco Data Product Compute nell'immagine seguente).

Diagramma dell'architettura di Azure Operator Insights. Mostra l'inserimento da parte degli agenti di inserimento da origini dati locali, l'elaborazione in un prodotto dati e l'analisi e l'uso in App per la logica e Power BI.

Dimensioni di qualità

Le dimensioni della qualità dei dati sono i vari aspetti o caratteristiche che definiscono la qualità dei dati. Azure Operator Insights supporta le dimensioni seguenti:

• Accuratezza: fa riferimento a quanto bene i dati riflettano la realtà, ad esempio nomi corretti, indirizzi e dati aggiornati. L'accuratezza elevata dei dati consente di produrre analisi attendibili e porta a report corretti e al processo decisionale sicuro.
• Completezza: indica se tutti i dati necessari per un particolare utilizzo sono presenti e disponibili per l'uso. La completezza si applica non solo a livello di elemento dati, ma anche a livello di record. La completezza consente di comprendere se i dati mancanti influiscono sull'affidabilità delle informazioni dettagliate dai dati.
• Univocità: fa riferimento alle assenze di duplicati in un set di dati.
• Coerenza: indica se lo stesso elemento dati non è in conflitto tra origini diverse o nel tempo. La coerenza garantisce che i dati siano uniformi e possano essere confrontati tra origini diverse.
• Tempestività: indica se i dati sono aggiornati e disponibili quando necessario. La tempestività garantisce che i dati siano rilevanti e utili per il processo decisionale.
• Validità: indica se i dati sono conformi a un set definito di regole o vincoli.

Metrica

Tutte le dimensioni della qualità dei dati sono coperte dalle metriche di qualità prodotte dalla piattaforma Azure Operator Insights. Esistono due tipi di metriche di qualità:

• Basic: set standard di controlli in tutti i prodotti dati.
• Personalizzato- Set personalizzato di controlli, che consente a tutti i prodotti dati di implementare controlli specifici del prodotto.

Le metriche di qualità di base prodotte dalla piattaforma sono disponibili nella tabella seguente.

Metrica	Dimensione	Origine dati
Numero di righe inserite	Tempestività	Ingerito
Numero di righe contenenti null per le colonne obbligatorie	Completezza	Ingerito
Numero di righe non riuscite per la convalida dello schema	Validità	Ingerito
Numero di righe filtrate	Completezza	Ingerito
Numero di righe elaborate	Tempestività	Elaborato
Numero di righe incomplete, che non contengono dati obbligatori	Completezza	Elaborato
Numero di righe duplicate	Univocità	Elaborato
Percentili per il ritardo complessivo tra la generazione di record e la disponibilità per l'esecuzione di query	Tempestività	Elaborato
Percentili per il ritardo tra la generazione di record e l'inserimento nell'archiviazione di input	Tempestività	Elaborato
Percentili per il ritardo tra i dati inseriti ed elaborati	Tempestività	Elaborato
Percentili per il ritardo tra i dati elaborati e disponibili per l'esecuzione di query	Tempestività	Elaborato
Età per viste materializzate	Tempestività	Elaborato

Le metriche di qualità dei dati personalizzate vengono implementate in base al prodotto dati. Queste metriche coprono l'accuratezza e la coerenza delle dimensioni. La documentazione del prodotto dati contiene la descrizione per le metriche di qualità personalizzate disponibili.

Monitoraggio

Tutti i prodotti dati di Informazioni dettagliate operatore di Azure vengono distribuiti con un dashboard che mostra le metriche di qualità. È possibile usare il dashboard per monitorare la qualità dei dati.

Tutte le metriche relative alla qualità dei dati vengono salvate nelle tabelle ADX del prodotto dati. Per l'esplorazione delle metriche relative alla qualità dei dati, è possibile usare l'endpoint KQL del prodotto dati standard e quindi estendere il dashboard, se necessario.