Introdução
Os dados brutos raramente chegam em um formato pronto para análise. Valores ausentes, registros duplicados, tipos de dados inconsistentes e conjuntos de dados mal estruturados são desafios comuns que os engenheiros de dados devem abordar antes que os dados possam fornecer valor comercial. Sem a limpeza e a transformação adequadas, os resultados da análise se tornam não confiáveis e os processos downstream falham. O Catálogo do Unity no Azure Databricks fornece a base de governança para gerenciar ativos de dados transformados ao longo desse processo.
Azure Databricks oferece um kit de ferramentas para trabalho de transformação e qualidade de dados. A criação de perfil de dados gera estatísticas resumidas que revelam problemas como porcentagens nulas, distribuições de valor inesperadas e descompasso de dados. A seleção de tipo garante que as colunas usem tipos de dados apropriados para eficiência de armazenamento e desempenho de consulta. Técnicas de tratamento duplicadas e nulas permitem identificar e resolver problemas comuns de qualidade de dados usando SQL ou PySpark. As operações de transformação , incluindo filtragem, agrupamento, agregação, junções e operadores definidos, remodelam dados para atender aos requisitos analíticos.
Além das transformações básicas, você trabalha com técnicas avançadas de remodelagem. A desnormalização nivela tabelas relacionadas para um desempenho de consulta mais rápido. A pivotagem gira valores de linha em colunas para análise cruzada de tabelas, enquanto que a despivotagem inverte esse processo para estruturas de dados normalizadas. Por fim, estratégias de carregamento como acrescentar, sobrescrever e mesclar garantem que os dados transformados caiam corretamente em tabelas de destino, seja adicionando novos registros, substituindo dados existentes ou sincronizando alterações por meio de operações upsert.
Neste módulo, você aprenderá a avaliar a qualidade dos dados por meio da criação de perfil, aplicar técnicas de limpeza para resolver problemas comuns, transformar dados usando operações SQL e PySpark e carregar os resultados em tabelas do Catálogo do Unity com a estratégia apropriada para cada cenário.