Gegevens opschonen, transformeren en laden in Unity Catalog
Gevorderd
Data-engineer
Azure Databricks
Data engineering vereist het transformeren van onbewerkte gegevens in schone, goed gestructureerde indelingen die klaar zijn voor analyse. Deze module verkent technieken voor het profileren van gegevenskwaliteit, het selecteren van de juiste kolomtypen, het omzetten van duplicaten en null-waarden, het toepassen van filter- en aggregatietransformaties, het combineren van gegevenssets met joins en setoperators, het opnieuw vormgeven van gegevens via draai- en denormalisatie en het laden van getransformeerde gegevens met behulp van toevoeg-, overschrijf- en samenvoegstrategieën.
Leerdoelen
Aan het einde van deze module kunt u het volgende doen:
- Profielgegevens met behulp van SQL-opdrachten en functies voor gegevensprofilering om de kwaliteit van de gegevens te beoordelen
- De juiste kolomgegevenstypen kiezen om de opslag te optimaliseren en de gegevensintegriteit te waarborgen
- Dubbele, ontbrekende en null-waarden in gegevenssets identificeren en oplossen
- Filter-, groeperings- en aggregatiebewerkingen toepassen om gegevens te transformeren
- Gegevenssets combineren met behulp van joins en setoperators zoals UNION, INTERSECT en EXCEPT
- Gegevens hervormen met behulp van denormalisatie, pivot en unpivot technieken
- Getransformeerde gegevens laden in Unity Catalog-tabellen met behulp van INSERT-, MERGE- en overschrijfbewerkingen
Vereisten
De volgende vereisten moeten worden voltooid:
- Basiskennis van Concepten van Azure Databricks en Unity Catalog
- Bekendheid met programmeren met SQL en Python
- Kennis van data engineering-concepten zoals gegevenskwaliteit en transformaties