Ingesta de datos en el catálogo de Unity
La ingesta de datos es una funcionalidad fundamental para cualquier plataforma de datos. En este módulo se explora el conjunto completo de técnicas disponibles en Azure Databricks para cargar datos en tablas de Catálogo de Unity. Aprenderás a utilizar conectores administrados con Lakeflow Connect, a escribir código de ingesta personalizado en cuadernos, a aplicar comandos SQL para la carga de archivos por lotes, a procesar fuentes de captura de datos de cambios, a configurar la ingesta en tiempo real desde buses de mensajes, a configurar Auto Loader para la detección automática de archivos y a orquestar flujos de trabajo de ingesta con las canalizaciones de Lakeflow.
Objetivos de aprendizaje
Al término de este módulo, sabrá hacer lo siguiente:
- Configuración de Lakeflow Connect para ingerir datos de orígenes externos mediante conectores administrados
- Ingesta de datos por lotes y streaming mediante cuadernos con DataFrames y Structured Streaming
- Usar comandos SQL como COPY INTO y CREATE TABLE AS SELECT para la ingesta basada en archivos
- Procesamiento de fuentes de captura de datos modificados con la API AUTO CDC
- Configuración de Spark Structured Streaming para la ingesta de datos en tiempo real desde Kafka y Event Hubs
- Configuración del cargador automático para detectar y procesar automáticamente nuevos archivos con la evolución del esquema
- Orqueste flujos de trabajo de ingesta de datos mediante canalizaciones de Lakeflow
Requisitos previos
Es necesario satisfacer los siguientes requisitos previos:
- Conocimientos básicos de los conceptos del catálogo de Azure Databricks y Unity
- Familiaridad con la programación de SQL y Python
- Conocimientos de conceptos de ingeniería de datos, como el procesamiento por lotes y el streaming