Implementar e gerenciar restrições de qualidade de dados com o Azure Databricks
Intermediário
Engenheiro de dados
Azure Databricks
Este módulo explora estratégias para manter a alta qualidade dos dados no Azure Databricks. Você aprenderá a implementar verificações de validação, impor esquemas, gerenciar descompasso de esquema e usar expectativas de pipeline para garantir a integridade dos dados em todos os pipelines de dados.
Objetivos de aprendizagem
Ao final deste módulo, você saberá como:
- Implementar verificações de validação para restrições de nulidade, cardinalidade e intervalo
- Implementar verificações de tipo de dados usando imposição de esquema e conversão explícita
- Aplicar o esquema e gerenciar a deriva de esquema usando o Auto Loader e o Delta Lake
- Gerenciar a qualidade dos dados usando as expectativas de pipeline nos pipelines do Lakeflow
Pré-requisitos
Os seguintes pré-requisitos devem ser concluídos:
- Compreensão básica dos workspaces do Azure Databricks e do Unity Catalog
- Familiaridade com os conceitos de SQL e engenharia de dados