Projetar e implementar modelação de dados com Azure Databricks
Intermédio
Engenheiro de Dados
Azure Databricks
A modelação eficaz de dados constitui a base de uma plataforma de dados eficiente e sustentável. Este módulo explora como desenhar lógica de ingestão, selecionar ferramentas e formatos de tabela apropriados, implementar esquemas de particionamento, gerir dimensões que mudam lentamente, escolher a granularidade adequada dos dados e otimizar o desempenho das tabelas através de estratégias de clustering no Azure Databricks com o Unity Catalog.
Objetivos de aprendizagem
Ao final deste módulo, você será capaz de:
- Projete a lógica de ingestão de dados e configure as ligações da fonte de dados
- Selecione a ferramenta de ingestão de dados adequada para o seu cenário
- Escolha entre Delta Lake, Apache Iceberg e outros formatos de tabela
- Desenhar e implementar esquemas eficazes de particionamento de dados
- Selecionar e implementar tipos de dimensões que mudam lentamente
- Desenhar e implementar tabelas temporais para acompanhamento de alterações e auditoria
- Escolha a granularidade adequada dos dados para tabelas de factos e dimensões
- Desenhar e implementar estratégias de clustering para otimização de consultas
- Avalie quando usar tabelas geridas versus externas
Pré-requisitos
Devem ser cumpridos os seguintes pré-requisitos:
- Compreensão básica dos espaços de trabalho Azure Databricks e do Unity Catalog
- Familiaridade com conceitos de SQL e data warehouse
- Conhecimento dos fundamentos do Lago Delta