Panoramica della qualità dei dati in Microsoft Purview Unified Catalog

La qualità dei dati in Microsoft Purview Unified Catalog consente ai proprietari dei domini di governance e dei dati di valutare e supervisionare la qualità del proprio ecosistema di dati, facilitando azioni mirate per il miglioramento. Nel panorama odierno basato sull'intelligenza artificiale, l'affidabilità dei dati influisce direttamente sull'accuratezza delle informazioni e dei consigli basati sull'intelligenza artificiale. Senza dati affidabili, c'è il rischio di erodere la fiducia nei sistemi di intelligenza artificiale e ostacolarne l'adozione.

Una scarsa qualità dei dati o strutture di dati incompatibili possono ostacolare i processi aziendali e le capacità decisionali. La qualità dei dati in Unified Catalog risolve queste sfide offrendo agli utenti la possibilità di valutare la qualità dei dati usando regole senza codice o a basso codice, incluse regole predefinite (OOB) e regole generate dall'intelligenza artificiale. Queste regole vengono applicate a livello di colonna e aggregate per fornire punteggi a livello di asset di dati, prodotti di dati e domini di governance, garantendo visibilità end-to-end della qualità dei dati all'interno di ogni dominio.

La qualità dei dati in Microsoft Purview incorpora anche funzionalità di profilatura dei dati basate su intelligenza artificiale, consigliando le colonne per la profilatura e consentendo l'intervento umano per perfezionare questi suggerimenti. Questo processo iterativo non solo migliora l'accuratezza della profilatura dei dati, ma contribuisce anche al miglioramento continuo dei modelli di intelligenza artificiale sottostanti.

Applicando la qualità dei dati, le organizzazioni possono misurare, monitorare e migliorare efficacemente la qualità dei propri asset di dati, rafforzando l'affidabilità delle informazioni basate sull'intelligenza artificiale e promuovendo la fiducia nei processi decisionali basati sull'intelligenza artificiale.

Ciclo di vita della qualità dei dati

  1. Assegnare agli utenti le autorizzazioni di amministratore della qualità dei dati in Unified Catalog per utilizzare tutte le funzionalità di qualità dei dati.
  2. Registrare ed eseguire un'analisi di un'origine dati in Microsoft Purview Data Map.
  3. Aggiungere l'asset di dati a un prodotto di dati
  4. Configurare una connessione all'origine dati per preparare l'origine per la valutazione della qualità dei dati.
  5. Configurare ed eseguire la profilatura dei dati per un asset nell'origine dati.
    1. Al termine della profilatura, sfogliare i risultati per ogni colonna nell'asset di dati per comprendere la struttura e lo stato correnti dei dati.
  6. Configurare regole di qualità dei dati in base ai risultati della profilatura e applicarle all'asset di dati.
  7. Configurare ed eseguire un'analisi della qualità dei dati su un prodotto di dati per valutare la qualità di tutte le risorse supportate nel prodotto di dati.
  8. Esaminare i risultati dell'analisi per valutare la qualità dei dati correnti del prodotto di dati.
  9. Ripetere periodicamente i passaggi da 5 a 8 durante il ciclo di vita dell'asset di dati per garantire che mantenga la qualità.
  10. Monitorare continuamente la qualità dei dati
    1. Esaminare le azioni relative alla qualità dei dati per identificare e risolvere i problemi.
    2. Imposta notifiche sulla qualità dei dati per avvisarti dei problemi di qualità.

Aree geografiche di qualità dei dati supportate

La qualità dei dati è attualmente supportata nelle aree geografiche seguenti.

Importante

La funzionalità Data Quality è supportata solo quando gli account e le origini dati si trovano nelle aree geografiche supportate da Purview. Le origini dati e l'account purview devono trovarsi nella stessa area di Azure. I limiti di esecuzione dei processi DQ simultanei sono:

  • Scansioni manuali: massimo 10 processi simultanei.
  • Analisi pianificate: massimo 25 processi simultanei.
  • Profilo manuale: max 10 processi di profilatura simultanei.
  • Suggerimento regola DQ: massimo 10 processi simultanei.

Origini dati multicloud supportate

Visualizzare l'elenco delle origini dati supportate.

Importante

La qualità dei dati per i file Parquet è progettata per supportare:

  1. Una directory con file di parti Parquet. Ad esempio: ./Sales/{Parquet Part Files}. Il nome completo deve seguire .https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} Assicurarsi che la struttura di directory e sottodirectory non includa {n} modelli. Usare invece un FQN diretto che porta a {SparkPartitions}.
  2. Directory con file di Parquet partizionati, partizionati per colonne all'interno del set di dati, ad esempio dati di vendita partizionati per anno e mese. Ad esempio: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Entrambi questi scenari essenziali, che presentano uno schema di set di dati Parquet coerente, sono supportati. Limitazione: La qualità dei dati non è progettata per supportare gerarchie arbitrarie di directory con file Parquet. È consigliabile presentare i dati nella struttura (1) o (2) costruita.

Attualmente, Microsoft Purview può eseguire solo analisi di qualità dei dati usando l'identità gestita come opzione di autenticazione. I servizi di qualità dei dati vengono eseguiti su Apache Spark 3.5 e Delta Lake 3.2.1.

Funzionalità di qualità dei dati

  • Configurazione della connessione all'origine dati
    • Configurare la connessione per consentire all'applicazione SaaS Data Quality di Microsoft Purview di accedere in lettura ai dati per l'analisi e la profilatura di qualità.
    • Microsoft Purview usa l'identità gestita come opzione di autenticazione.
  • Profilatura dei dati
    • Esperienza di profilatura dei dati abilitata per l'intelligenza artificiale.
    • Snapshot statistico standard del settore (distribuzione, min, max, deviazione standard, unicità, completezza, duplicazione e altro ancora).
    • Eseguire il drill-down delle misure di profilatura a livello di colonna.
  • Regole di qualità dei dati
    • Regole predefinite per misurare sei dimensioni standard di qualità dei dati (completezza, coerenza, conformità, accuratezza, freschezza e unicità).
    • Le funzionalità per la creazione di regole personalizzate includono il numero di funzioni predefinite e i valori delle espressioni.
    • Regole generate automaticamente con l'esperienza integrata dell'intelligenza artificiale.
  • Analisi della qualità dei dati
    • Selezionare e assegnare regole alle colonne per l'analisi della qualità dei dati.
    • Applicare la regola di aggiornamento dei dati a livello di entità o tabella per misurare lo SLA di aggiornamento dei dati.
    • Pianificazione del processo di analisi della qualità dei dati per il periodo di tempo (orario, giornaliero, settimanale, mensile e altro ancora).
  • Monitoraggio dei processi di qualità dei dati
    • Abilita il monitoraggio dello stato dei processi di qualità dei dati (Attivo, Completato, Non riuscito e altro ancora).
    • Abilita l'esplorazione della cronologia delle analisi della qualità dei dati.
  • Punteggio della qualità dei dati
    • Punteggio di qualità dei dati a livello di regola (punteggio di qualità per una regola applicata a una colonna).
    • Punteggio di qualità dei dati per asset di dati, prodotti di dati e domini di governance (un dominio di governance può avere molti prodotti di dati, un prodotto di dati può avere molti asset di dati, un asset di dati può avere molte colonne di dati).
  • Avvisi sulla qualità dei dati
    • Configura gli avvisi per informare i proprietari dei dati e gli amministratori dei dati se la soglia di qualità dei dati non soddisfa le aspettative.
    • Configurare l'alias di posta elettronica o il gruppo di distribuzione per inviare la notifica relativa ai problemi di qualità dei dati.
  • Azioni di qualità dei dati
    • Centro operativo per la qualità dei dati con azioni per affrontare gli stati di anomalia della qualità dei dati, incluse query di diagnostica per lo steward della qualità dei dati per concentrarsi sui dati specifici da correggere per ogni stato di anomalia.
  • Rete virtuale gestita con qualità dei dati
    • Rete virtuale gestita da Data Quality che si connette con endpoint privati alle origini dati di Microsoft Azure.

Residenza e crittografia dei dati

L'account Microsoft Managed Storage archivia la qualità dei dati, i metadati e il riepilogo della profilatura. Li archivia nella stessa area dell'origine dati, quindi la residenza dei dati rimane intatta. Tutti i dati sono crittografati. L'archivio dati utente regionale del provider di risorse Purview viene usato per i metadati. Gestisce tutta la crittografia ed è comune a tutti i servizi Purview. Se si vuole un maggiore controllo sulla crittografia dei dati con una chiave di crittografia gestita dal cliente (CMK), usare un processo separato. Altre informazioni su Microsoft Purview Customer Key.

Prezzi di calcolo della qualità dei dati

L'utilizzo della qualità dei dati viene fatturato in base ai contatori con pagamento in base al consumo dell'unità di elaborazione della governance dei dati (DGPU). Informazioni dettagliate su come vengono calcolati i prezzi per la qualità dei dati.

Limitazioni

Contenuto correlato

Passaggi successivi

  1. Assegna agli utenti le autorizzazioni di amministratore della qualità dei dati in Unified Catalog in modo che possano utilizzare tutte le funzionalità di qualità dei dati.
  2. Configurare una connessione all'origine dati per preparare l'origine per una valutazione della qualità dei dati.
  3. Configurare ed eseguire la profilatura dei dati per un asset nell'origine dati.
  • Last updated on