Inserire dati in Unity Catalog
Intermedio
Data engineer
Azure Databricks
L'inserimento dati è una funzionalità fondamentale per qualsiasi piattaforma dati. Questo modulo illustra il set completo di tecniche disponibili in Azure Databricks per il caricamento dei dati nelle tabelle del catalogo Unity. Si apprenderà come usare i connettori gestiti con Lakeflow Connect, scrivere codice di ingestione personalizzato nei notebook, applicare comandi SQL per il caricamento batch di file, elaborare feed di Change Data Capture, configurare l'ingestione in streaming da bus di messaggi, configurare Auto Loader per il rilevamento automatico dei file e orchestrare i flussi di lavoro di ingestione con le pipeline Lakeflow.
Obiettivi di apprendimento
Alla fine di questo modulo, sarai in grado di:
- Configurare Lakeflow Connect per inserire dati da origini esterne usando connettori gestiti
- Ingerire dati batch e di streaming usando notebook con DataFrames e Structured Streaming
- Usare comandi SQL come COPY INTO e CREATE TABLE AS SELECT per l'inserimento basato su file
- Elaborare i flussi di acquisizione dati delle modifiche con l'API AUTO CDC
- Configurare Spark Structured Streaming per l'inserimento di dati in tempo reale da Kafka e Hub eventi
- Configurare il caricatore automatico per rilevare ed elaborare automaticamente nuovi file con l'evoluzione dello schema
- Orchestrare i flussi di lavoro di inserimento dati usando le pipeline Lakeflow
Prerequisiti
Devono essere soddisfatti i prerequisiti seguenti:
- Conoscenza di base dei concetti relativi al catalogo di Azure Databricks e Unity
- Familiarità con la programmazione SQL e Python
- Conoscenza dei concetti di ingegneria dei dati, ad esempio l'elaborazione batch e lo streaming