Preparare ed elaborare i dati con Azure Databricks
Riepilogo
-
Level
-
Competenza
-
Prodotto
-
Ruolo
-
Oggetto
Acquisire le competenze essenziali per creare soluzioni di ingegneria dei dati affidabili e scalabili con Azure Databricks e Unity Catalog. Informazioni su come progettare modelli di dati efficaci, inserire dati da origini diverse, trasformare i dati non elaborati in formati pronti per l'analisi e garantire la qualità dei dati nell'architettura lakehouse.
In questo percorso di apprendimento si apprenderà come creare un flusso di lavoro di ingegneria dei dati usando Azure Databricks e Unity Catalog. A partire dai concetti di modellazione dei dati fondamentali, si progettano schemi e strategie di partizionamento ottimizzate per i carichi di lavoro analitici. Si esamineranno quindi più modelli di inserimento, dai connettori gestiti alle pipeline di streaming, per inserire i dati nel lakehouse. Si applicheranno quindi tecniche di trasformazione per pulire e modellare i dati per l'uso aziendale. Infine, si implementeranno controlli di qualità per mantenere l'integrità dei dati in tutte le pipeline. Al termine, si avranno le competenze pratiche per progettare e creare soluzioni di dati pronte per la produzione in Unity Catalog.
Prerequisiti
- Conoscenza approfondita dei concetti relativi alle aree di lavoro di Azure Databricks e al catalogo Unity
- Familiarità con la programmazione SQL e Python
- Conoscenza dei concetti fondamentali relativi all'ingegneria dei dati e al data warehouse
Codice obiettivo
Si vuole richiedere un codice obiettivo?
Moduli in questo percorso di apprendimento
Una modellazione efficace dei dati costituisce la base di una piattaforma dati efficiente e gestibile. Questo modulo illustra come progettare la logica di inserimento, selezionare gli strumenti e i formati di tabella appropriati, implementare schemi di partizionamento, gestire dimensioni a modifica lenta, scegliere la granularità dei dati appropriata e ottimizzare le prestazioni delle tabelle tramite strategie di clustering in Azure Databricks con Unity Catalog.
L'inserimento dati è una funzionalità fondamentale per qualsiasi piattaforma dati. Questo modulo illustra il set completo di tecniche disponibili in Azure Databricks per il caricamento dei dati nelle tabelle del catalogo Unity. Si apprenderà come usare i connettori gestiti con Lakeflow Connect, scrivere codice di ingestione personalizzato nei notebook, applicare comandi SQL per il caricamento di file batch, elaborare feed di Change Data Capture, configurare l'ingestione in streaming da bus di messaggio, configurare Auto Loader per il rilevamento automatico dei file e orchestrare i flussi di lavoro di ingestione con le pipeline Lakeflow.
La progettazione dei dati richiede la trasformazione dei dati non elaborati in formati puliti e ben strutturati pronti per l'analisi. Questo modulo illustra le tecniche per la profilatura della qualità dei dati, la selezione dei tipi di colonna appropriati, la risoluzione di duplicati e valori Null, l'applicazione di trasformazioni di filtro e aggregazione, la combinazione di set di dati con join e operatori di set, la rimodellazione dei dati tramite pivot e denormalizzazione e il caricamento di dati trasformati tramite strategie di accodamento, sovrascrittura e unione.
Questo modulo illustra le strategie per mantenere la qualità dei dati elevata in Azure Databricks. Si apprenderà come implementare controlli di convalida, applicare schemi, gestire la deriva dello schema e usare le aspettative della pipeline per garantire l'integrità dei dati in tutte le pipeline di dati.