Implementar e gerir restrições de qualidade de dados com Azure Databricks
Intermédio
Engenheiro de Dados
Azure Databricks
Este módulo explora estratégias para manter uma elevada qualidade de dados no Azure Databricks. Vai aprender a implementar verificações de validação, aplicar esquemas, gerir o desvio de esquemas e usar expectativas do pipeline para garantir a integridade dos dados ao longo dos seus pipelines.
Objetivos de aprendizagem
Ao final deste módulo, você será capaz de:
- Implementar verificações de validação para anulabilidade, cardinalidade e restrições de alcance
- Implementar verificações de tipos de dados usando imposição de esquema e casting explícito
- Aplicar o esquema e gerir a deriva do esquema usando o Auto Loader e o Delta Lake
- Gerir a qualidade dos dados utilizando as expectativas do pipeline nos pipelines Lakeflow
Pré-requisitos
Devem ser cumpridos os seguintes pré-requisitos:
- Compreensão básica dos espaços de trabalho Azure Databricks e do Unity Catalog
- Familiaridade com conceitos de SQL e engenharia de dados