Diseñar e implementar modelado de datos con Azure Databricks
Intermedio
Ingeniero de datos
Azure Databricks
Un modelado de datos eficaz constituye la base de una plataforma de datos eficiente y mantenible. Este módulo explora cómo diseñar la lógica de ingestión, seleccionar herramientas y formatos de tabla adecuados, implementar esquemas de partición, administrar dimensiones que cambian lentamente, elegir la granularidad de datos adecuada y optimizar el rendimiento de la tabla a través de estrategias de agrupamiento en Azure Databricks con Unity Catalog.
Objetivos de aprendizaje
Al término de este módulo, sabrá hacer lo siguiente:
- Diseño de la lógica de ingesta de datos y configuración de conexiones de origen de datos
- Seleccione la herramienta de ingesta de datos adecuada para su escenario.
- Elección entre Delta Lake, Apache Iceberg y otros formatos de tabla
- Diseñar e implementar esquemas de partición de datos eficaces
- Selección e implementación de tipos de dimensiones que cambian lentamente
- Diseñar e implementar tablas temporales para el seguimiento de cambios y la auditoría
- Elección de la granularidad de datos adecuada para las tablas de hechos y dimensiones
- Diseñar e implementar estrategias de agrupación en clústeres para la optimización de consultas
- Evaluar cuándo usar tablas administradas frente a externas
Requisitos previos
Se deben completar los siguientes requisitos previos:
- Conocimiento básico de los espacios de trabajo de Azure Databricks y el Catálogo de Unity
- Familiaridad con los conceptos de SQL y almacenamiento de datos
- Conocimientos básicos de Delta Lake