Pulire, trasformare e caricare i dati in Unity Catalog
Intermedio
Data engineer
Azure Databricks
La progettazione dei dati richiede la trasformazione dei dati non elaborati in formati puliti e ben strutturati pronti per l'analisi. Questo modulo illustra le tecniche per la profilatura della qualità dei dati, la selezione dei tipi di colonna appropriati, la risoluzione di duplicati e valori Null, l'applicazione di trasformazioni di filtro e aggregazione, la combinazione di set di dati con join e operatori di set, la rimodellazione dei dati tramite pivot e denormalizzazione e il caricamento di dati trasformati tramite strategie di accodamento, sovrascrittura e unione.
Obiettivi di apprendimento
Al termine di questo modulo, sarai in grado di:
- Profilare i dati usando i comandi SQL e le funzionalità di profilatura dei dati per valutare la qualità dei dati
- Scegliere i tipi di dati di colonna appropriati per ottimizzare l'archiviazione e garantire l'integrità dei dati
- Identificare e risolvere valori duplicati, mancanti e Null nei set di dati
- Applicare operazioni di filtro, raggruppamento e aggregazione per trasformare i dati
- Combinare set di dati usando join e operatori di insieme come UNION, INTERSECT e EXCEPT
- Trasformare i dati usando tecniche di denormalizzazione, pivot e unpivot.
- Caricare i dati trasformati in tabelle del catalogo Unity usando operazioni INSERT, MERGE e sovrascrittura
Prerequisiti
È necessario completare i prerequisiti seguenti:
- Conoscenza di base dei concetti relativi al catalogo di Azure Databricks e Unity
- Familiarità con la programmazione SQL e Python
- Conoscenza dei concetti di ingegneria dei dati, ad esempio qualità dei dati e trasformazioni