Preparar e processar dados com Azure Databricks
Síntese
-
Level
-
Habilidade
-
Produto
-
Role
-
Assunto
Domine as competências essenciais para construir soluções robustas e escaláveis de engenharia de dados com Azure Databricks e Unity Catalog. Aprenda a desenhar modelos de dados eficazes, a absorver dados de fontes diversas, a transformar dados brutos em formatos prontos para análise e a garantir a qualidade dos dados em toda a arquitetura da sua casa de lago.
Neste percurso de aprendizagem, vais aprender a construir um fluxo de trabalho de engenharia de dados usando o Azure Databricks e o Unity Catalog. Começando com conceitos fundamentais de modelação de dados, irá desenhar esquemas e estratégias de partição otimizadas para cargas de trabalho analíticas. Depois, irá explorar múltiplos padrões de ingestão — desde conectores geridos a pipelines de streaming — para trazer dados para a sua lakehouse. De seguida, irá aplicar técnicas de transformação para limpar e remodelar dados para uso empresarial. Por fim, irá implementar controlos de qualidade para manter a integridade dos dados ao longo dos seus pipelines. No final, terá as competências práticas para arquitetar e construir soluções de dados prontas para produção no Unity Catalog.
Pré-requisitos
- Boa compreensão dos espaços de trabalho do Azure Databricks e dos conceitos do Unity Catalog
- Familiaridade com programação SQL e Python
- Conhecimento dos conceitos fundamentais de engenharia de dados e de data warehouse
Código de Feito
Pretende pedir um código de feito?
Módulos neste percurso de aprendizagem
A modelação eficaz de dados constitui a base de uma plataforma de dados eficiente e sustentável. Este módulo explora como desenhar lógica de ingestão, selecionar ferramentas e formatos de tabela apropriados, implementar esquemas de particionamento, gerir dimensões que mudam lentamente, escolher a granularidade adequada dos dados e otimizar o desempenho das tabelas através de estratégias de clustering no Azure Databricks com o Unity Catalog.
A ingestão de dados é uma capacidade fundamental para qualquer plataforma de dados. Este módulo explora o conjunto abrangente de técnicas disponíveis no Azure Databricks para carregar dados em tabelas do Unity Catalog. Vai aprender a usar conectores geridos com o Lakeflow Connect, escrever código de ingestão personalizado em notebooks, aplicar comandos SQL para carregamento de ficheiros em lote, processar feeds de captura de dados de alteração, configurar a ingestão de streaming a partir de barramentos de mensagens, configurar o Auto Loader para deteção automática de ficheiros e orquestrar fluxos de trabalho de ingestão com pipelines Lakeflow.
A engenharia de dados exige transformar dados brutos em formatos limpos e bem estruturados, prontos para análise. Este módulo explora técnicas para perfilar a qualidade dos dados, selecionar tipos de colunas apropriados, resolver duplicados e valores nulos, aplicar transformações de filtragem e agregação, combinar conjuntos de dados com joins e operadores de conjunto, remodelar dados através de pivotagem e desnormalização, e carregar dados transformados usando estratégias de anexação, sobrescrição e fusão.
Este módulo explora estratégias para manter uma elevada qualidade de dados no Azure Databricks. Irá aprender a implementar verificações de validação, impor esquemas, gerir a deriva de esquemas e usar expectativas nos pipelines para garantir a integridade dos dados ao longo dos seus pipelines de dados.