Preparación y procesamiento de datos con Azure Databricks
En un vistazo
-
Nivel
-
personalizada
-
Producto
-
Role
-
Asunto
Dominar las aptitudes esenciales para crear soluciones de ingeniería de datos sólidas y escalables con Azure Databricks y Unity Catalog. Aprenda a diseñar modelos de datos eficaces, ingerir datos de diversos orígenes, transformar datos sin procesar en formatos listos para análisis y garantizar la calidad de los datos en toda la arquitectura de lakehouse.
En esta ruta de aprendizaje, aprenderá a crear un flujo de trabajo de ingeniería de datos mediante Azure Databricks y Unity Catalog. A partir de conceptos básicos de modelado de datos, diseñará esquemas y estrategias de creación de particiones optimizadas para cargas de trabajo analíticas. A continuación, explorará varios patrones de ingestión, desde conectores administrados hasta canalizaciones de retransmisión, para incorporar datos a su almacén de lago de datos. A continuación, aplicará técnicas de transformación para limpiar y volver a dar forma a los datos para su uso empresarial. Por último, implementará controles de calidad para mantener la integridad de los datos en todas las canalizaciones. Al final, tendrá las aptitudes prácticas para diseñar y crear soluciones de datos listas para producción en Unity Catalog.
Requisitos previos
- Buena comprensión de las áreas de trabajo de Azure Databricks y los conceptos del catálogo de Unity
- Familiaridad con la programación de SQL y Python
- Conocimientos sobre conceptos fundamentales de ingeniería de datos y almacenamiento de datos
Código de logros
¿Desea solicitar un código de logro?
Módulos en esta ruta de aprendizaje
El modelado de datos efectivo forma la base de una plataforma de datos eficaz y fácil de mantener. En este módulo se explora cómo diseñar lógica de ingesta, seleccionar las herramientas adecuadas y los formatos de tabla, implementar esquemas de creación de particiones, administrar dimensiones que cambian lentamente, elegir la granularidad de datos adecuada y optimizar el rendimiento de las tablas mediante estrategias de agrupación en clústeres en Azure Databricks con Unity Catalog.
La ingesta de datos es una funcionalidad fundamental para cualquier plataforma de datos. En este módulo se explora el conjunto completo de técnicas disponibles en Azure Databricks para cargar datos en tablas de Catálogo de Unity. Aprenderá a usar conectores administrados con Lakeflow Connect, escribir código de ingesta personalizado en notebooks, aplicar comandos SQL para la carga de archivos por lotes, procesar flujos de captura de datos de cambios, configurar la ingesta de streaming desde brokers de mensajes, configurar Auto Loader para la detección automática de archivos y organizar flujos de trabajo de ingesta con pipelines de Lakeflow.
La ingeniería de datos requiere transformar los datos sin procesar en formatos limpios y bien estructurados listos para el análisis. En este módulo se exploran técnicas para el perfilado de la calidad de los datos, la selección de tipos de columna adecuados, la resolución de duplicados y valores NULL, la aplicación de transformaciones de filtrado y agregación, la combinación de conjuntos de datos con uniones y operadores de conjuntos, el volver a dar forma a los datos mediante pivotación y desnormalización, y la carga de datos transformados mediante estrategias de apéndice, sobrescritura y combinación.
En este módulo se exploran las estrategias para mantener una alta calidad de datos en Azure Databricks. Aprenderá a implementar comprobaciones de validación, aplicar esquemas, administrar el desfase de esquema y usar expectativas de canalización para garantizar la integridad de los datos en todas las canalizaciones de datos.