Concevoir et implémenter la modélisation des données avec Azure Databricks
Intermédiaire
Ingénieur Data
Azure Databricks
Une modélisation efficace des données constitue la base d’une plateforme de données performante et gérable. Ce module explore comment concevoir une logique d’ingestion, sélectionner les outils et les formats de table appropriés, implémenter des schémas de partitionnement, gérer les dimensions à variation lente, choisir une granularité de données appropriée et optimiser les performances des tables via des stratégies de clustering dans Azure Databricks avec Unity Catalog.
Objectifs d’apprentissage
À la fin de ce module, vous serez en mesure de :
- Concevoir une logique d’ingestion des données et configurer des connexions de source de données
- Sélectionnez l’outil d’ingestion de données approprié pour votre scénario
- Choisir entre Delta Lake, Apache Iceberg et d’autres formats de table
- Concevoir et implémenter des schémas de partitionnement de données efficaces
- Sélectionner et implémenter des types de dimension à variation lente
- Concevoir et implémenter des tables temporelles pour le suivi et l’audit des modifications
- Choisir une granularité de données appropriée pour les tables de faits et de dimension
- Concevoir et implémenter des stratégies de clustering pour l’optimisation des requêtes
- Évaluer quand utiliser des tables managées et externes
Prérequis
Les prérequis suivants doivent être remplis :
- Compréhension de base des espaces de travail Azure Databricks et du catalogue Unity
- Connaissance des concepts de SQL et d’entrepôt de données
- Connaissance des principes fondamentaux de Delta Lake