Limpiar, transformar y cargar datos en el Catálogo de Unity
Intermedio
Ingeniero de datos
Azure Databricks
La ingeniería de datos consiste en transformar datos sin procesar en formatos limpios y bien estructurados, listos para su análisis. Este módulo explora técnicas para perfilar la calidad de los datos, seleccionar tipos de columnas apropiados, resolver duplicados y valores nulos, aplicar transformaciones de filtrado y agregación, combinar conjuntos de datos con uniones y operadores de conjunto, remodelar datos mediante pivoteo y desnormalización, y cargar datos transformados utilizando estrategias de anexión, sobrescritura y fusión.
Objetivos de aprendizaje
Al finalizar este módulo, podrá hacer lo siguiente:
- Generar perfiles de datos mediante comandos SQL y características de generación de perfiles de datos para evaluar la calidad de los datos
- Elección de los tipos de datos de columna adecuados para optimizar el almacenamiento y garantizar la integridad de los datos
- Identificar y resolver valores duplicados, que faltan y null en conjuntos de datos
- Aplicación de operaciones de filtrado, agrupación y agregación para transformar datos
- Combinar conjuntos de datos mediante combinaciones y establecer operadores como UNION, INTERSECT y EXCEPT
- Remodelar datos utilizando técnicas de desnormalización, pivoteo y despivoteo
- Carga de datos transformados en tablas de Catálogo de Unity mediante operaciones INSERT, MERGE y sobrescritura
Requisitos previos
Se deben completar los siguientes requisitos previos:
- Comprensión básica de los conceptos de Azure Databricks y Unity Catalog
- Familiaridad con la programación SQL y Python
- Conocimientos de conceptos de ingeniería de datos, como la calidad y las transformaciones de datos