Beperkingen voor gegevenskwaliteit implementeren en beheren met Azure Databricks
Gevorderd
Data-engineer
Azure Databricks
In deze module worden strategieën besproken voor het onderhouden van hoge gegevenskwaliteit in Azure Databricks. U leert hoe u validatiecontroles implementeert, schema's afdwingt, schemadrift beheert en pijplijnverwachtingen gebruikt om de gegevensintegriteit in uw gegevenspijplijnen te garanderen.
Leerdoelen
Aan het einde van deze module kunt u het volgende doen:
- Validatiecontroles implementeren voor beperkingen voor nullwaarde, kardinaliteit en bereik
- Gegevenstypecontroles implementeren met schema-afdwinging en expliciete casting
- Schemadrift afdwingen en schemadrift beheren met behulp van Automatisch laden en Delta Lake
- Gegevenskwaliteit beheren met behulp van pijplijnverwachtingen in Lakeflow-pijplijnen
Vereisten
De volgende vereisten moeten worden voltooid:
- Basiskennis van Azure Databricks-werkruimten en Unity Catalog
- Bekendheid met SQL- en data engineering-concepten