Ingérer des données dans le catalogue Unity
L’ingestion des données est une fonctionnalité fondamentale pour n’importe quelle plateforme de données. Ce module explore l’ensemble complet de techniques disponibles dans Azure Databricks pour le chargement de données dans des tables Unity Catalog. Vous allez apprendre à utiliser des connecteurs managés avec Lakeflow Connect, écrire du code d’ingestion personnalisé dans des notebooks, appliquer des commandes SQL pour le chargement de fichiers par lots, traiter les flux de capture de données modifiées, configurer l’ingestion de streaming à partir de bus de messages, configurer Auto Loader pour la détection automatique des fichiers et orchestrer des workflows d’ingestion avec des pipelines Lakeflow.
Objectifs d’apprentissage
À la fin de ce module, vous serez en mesure de :
- Configurer Lakeflow Connect pour ingérer des données à partir de sources externes à l’aide de connecteurs managés
- Ingérer des données batch et de streaming à l'aide de notebooks avec DataFrames et Structured Streaming
- Utiliser des commandes SQL telles que COPY INTO et CREATE TABLE AS SELECT pour l’ingestion basée sur des fichiers
- Traiter les flux de capture de données modifiées avec l’API AUTO CDC
- Configurer Spark Structured Streaming pour l’ingestion de données en temps réel à partir de Kafka et d’Event Hubs
- Configurer le chargeur automatique pour détecter et traiter automatiquement les nouveaux fichiers avec l’évolution du schéma
- Orchestrer des flux de travail d’ingestion de données à l’aide de pipelines Lakeflow
Prérequis
Les prérequis suivants doivent être remplis :
- Compréhension de base des concepts de catalogue Azure Databricks et Unity
- Connaissance de la programmation SQL et Python
- Connaissance des concepts d’ingénierie des données, tels que le traitement par lots et la diffusion en continu