Introdução
Os dados brutos raramente chegam num formato pronto para análise. Valores em falta, registos duplicados, tipos de dados inconsistentes e conjuntos de dados mal estruturados são desafios comuns que os engenheiros de dados devem enfrentar antes que os dados possam gerar valor para o negócio. Sem uma limpeza e transformação adequadas, os resultados analíticos tornam-se pouco fiáveis e os processos posteriores falham. O Unity Catalog no Azure Databricks fornece a base de governação para gerir ativos de dados transformados ao longo deste processo.
O Azure Databricks oferece um conjunto de ferramentas para trabalho de qualidade dos dados e transformação de dados. O perfil de dados gera estatísticas resumidas que revelam questões como percentagens nulas, distribuições de valores inesperadas e desvio de dados. A seleção de tipos assegura que as colunas utilizam tipos de dados apropriados para eficiência de armazenamento e desempenho de consultas. As técnicas de tratamento duplicado e nulo permitem-lhe identificar e resolver problemas comuns de qualidade de dados usando SQL ou PySpark. Operações de transformação , incluindo filtragem, agrupamento, agregação, junções e operadores de conjunto, remodelam os dados para satisfazer requisitos analíticos.
Para além das transformações básicas, trabalhas com técnicas avançadas de remodelação. A desnormalização achata as tabelas relacionadas para um desempenho de consulta mais rápido. Pivoting transforma os valores das linhas em colunas para análise em tabela cruzada, enquanto unpivoting inverte este processo para estruturas normalizadas de dados. Por fim, estratégias de carregamento como anexar, sobrescrever e mesclar garantem que os dados transformados caem corretamente nas tabelas alvo — quer esteja a adicionar novos registos, substituir dados existentes ou sincronizar alterações através de operações upsert.
Neste módulo, aprende a avaliar a qualidade dos dados através da criação de perfis, aplicar técnicas de limpeza para resolver problemas comuns, transformar dados usando operações SQL e PySpark, e carregar os resultados nas tabelas do Catálogo Unity com a estratégia adequada para cada cenário.