Preparar e processar dados com o Azure Databricks
Visão rápida
-
Nível
-
Habilidade
-
Product
-
Função
-
Assunto
Domine as habilidades essenciais para criar soluções de engenharia de dados robustas e escalonáveis com o Azure Databricks e o Catálogo do Unity. Aprenda a criar modelos de dados eficazes, ingerir dados de fontes diversas, transformar dados brutos em formatos prontos para análise e garantir a qualidade dos dados em sua arquitetura lakehouse.
Neste roteiro de aprendizagem, você aprenderá a criar um fluxo de trabalho de engenharia de dados usando o Azure Databricks e o Catálogo do Unity. Começando com conceitos fundamentais de modelagem de dados, você criará esquemas e estratégias de particionamento otimizadas para cargas de trabalho analíticas. Em seguida, você explorará vários padrões de ingestão, desde conectores gerenciados até pipelines de streaming, para trazer dados para sua lakehouse. Em seguida, você aplicará técnicas de transformação para limpar e remodelar dados para uso empresarial. Por fim, você implementará controles de qualidade para manter a integridade dos dados em todos os pipelines. No final, você terá as habilidades práticas para arquitetar e criar soluções de dados prontas para produção no Catálogo do Unity.
Pré-requisitos
- Bom conhecimento de workspaces do Azure Databricks e de conceitos do Catálogo do Unity
- Familiaridade com a programação do SQL e do Python
- Conhecimento de conceitos fundamentais de engenharia de dados e data warehouse
Código de Conquista
Gostaria de solicitar um código de conquista?
Módulos neste roteiro de aprendizagem
A modelagem efetiva de dados forma a base de uma plataforma de dados com desempenho e manutenção. Este módulo explora como projetar lógica de ingestão, selecionar ferramentas e formatos de tabela apropriados, implementar esquemas de particionamento, gerenciar dimensões de alteração lenta, escolher granularidade de dados apropriada e otimizar o desempenho da tabela por meio de estratégias de clustering no Azure Databricks com o Catálogo do Unity.
A ingestão de dados é uma funcionalidade fundamental para qualquer plataforma de dados. Este módulo explora o conjunto abrangente de técnicas disponíveis no Azure Databricks para carregar dados em tabelas do Catálogo do Unity. Você aprenderá a usar conectores gerenciados com o Lakeflow Connect, escrever código de ingestão personalizado em notebooks, aplicar comandos SQL para carregamento de arquivos em lotes, processar feeds de captura de dados de alteração, configurar a ingestão de streaming de barramentos de mensagens, configurar o Auto Loader para detecção automática de arquivos e orquestrar fluxos de trabalho de ingestão com pipelines do Lakeflow.
A engenharia de dados requer a transformação de dados brutos em formatos limpos e bem estruturados prontos para análise. Este módulo explora técnicas de criação de perfil de qualidade de dados, seleção de tipos de coluna apropriados, resolução de valores duplicados e nulos, a aplicação de transformações de filtragem e agregação, combinação de conjuntos de dados com junções e operadores de conjunto, remodelação de dados por meio de dinamização e desnormalização e carregamento de dados transformados usando estratégias de acréscimo, substituição e mesclagem.
Este módulo explora estratégias para manter a alta qualidade dos dados no Azure Databricks. Você aprenderá a implementar verificações de validação, impor esquemas, gerenciar desvio de esquema e usar expectativas em pipelines para assegurar a integridade dos dados ao longo dos seus pipelines de dados.