Nettoyer, transformer et charger des données dans Unity Catalog
Intermédiaire
Ingénieur Data
Azure Databricks
L'ingénierie de données exige de transformer des données brutes en formats propres et bien structurés prêts pour l'analyse. Ce module explore des techniques de profilage de la qualité des données, de sélection de types de colonnes appropriés, de résolution des doublons et des valeurs Null, d'application de transformations de filtrage et d'agrégation, de combinaison de jeux de données à l'aide de jointures et d'opérateurs ensemblistes, de remaniement des données via des techniques de pivotement et de dénormalisation, et de chargement des données transformées à l'aide de stratégies append, overwrite et merge.
Objectifs d’apprentissage
À la fin de ce module, vous pouvez :
- Profiler des données à l’aide de commandes SQL et des fonctionnalités de profilage des données pour évaluer la qualité des données
- Choisir les types de données de colonne appropriés pour optimiser le stockage et garantir l’intégrité des données
- Identifier et résoudre les valeurs dupliquées, manquantes et null dans les jeux de données
- Appliquer des opérations de filtrage, de regroupement et d’agrégation pour transformer des données
- Combiner des jeux de données à l’aide de jointures et d’opérateurs définis comme UNION, INTERSECT et EXCEPT
- Remanier des données à l'aide de techniques de dénormalisation, pivotement et dépivotement
- Charger des données transformées dans des tables Unity Catalog à l'aide d'opérations INSERT, MERGE et overwrite
Prérequis
Les prérequis suivants doivent être remplis :
- Compréhension de base des concepts Azure Databricks et Unity Catalog
- Familiarité avec la programmation SQL et Python
- Connaissance des concepts d’ingénierie des données, tels que la qualité et les transformations des données