Introduzione
I dati non elaborati arrivano raramente in un formato pronto per l'analisi. I valori mancanti, i record duplicati, i tipi di dati incoerenti e i set di dati strutturati in modo non adeguato sono sfide comuni che i data engineer devono affrontare prima che i dati possano offrire valore aziendale. Senza una corretta pulizia e trasformazione, i risultati dell'analisi diventano inaffidabili e i processi downstream hanno esito negativo. Unity Catalog in Azure Databricks fornisce le basi per la governance nella gestione degli asset di dati trasformati durante questo processo.
Azure Databricks offre un toolkit per la qualità e la trasformazione dei dati. La profilatura dei dati genera statistiche di riepilogo che rivelano problemi come percentuali Null, distribuzioni di valori imprevisti e deviazione dei dati. La selezione dei tipi garantisce che le colonne usino tipi di dati appropriati per l'efficienza di archiviazione e le prestazioni delle query. Le tecniche di gestione duplicate e Null consentono di identificare e risolvere i problemi comuni relativi alla qualità dei dati usando SQL o PySpark. Le operazioni di trasformazione, tra cui filtraggio, raggruppamento, aggregazione, join e operatori di insieme, rimodellano i dati per soddisfare i requisiti analitici.
Oltre alle trasformazioni di base, si lavora con tecniche avanzate di rishaping. La denormalizzazione appiattisce le tabelle correlate per ottenere prestazioni di query più veloci. Il pivot ruota i valori di riga in colonne per l'analisi tabulare incrociata, mentre l'annullamento delpivot inverte questo processo per le strutture di dati normalizzate. Infine, strategie di caricamento come accodamento, sovrascrittura e unione garantiscono che i dati trasformati vengano inseriti correttamente nelle tabelle di destinazione, indipendentemente dal fatto che si aggiungano nuovi record, si sostituiscano i dati esistenti o si sincronizzino le modifiche tramite operazioni di upsert.
In questo modulo si apprenderà come valutare la qualità dei dati tramite la profilatura, applicare tecniche di pulizia per risolvere i problemi comuni, trasformare i dati usando le operazioni SQL e PySpark e caricare i risultati nelle tabelle del catalogo Unity con la strategia appropriata per ogni scenario.