Bereinigen, transformieren und laden Sie Daten in Unity Catalog
Fortgeschrittene Anfänger
Technische Fachkraft für Daten
Azure Databricks
Data Engineering erfordert die Umwandlung von Rohdaten in saubere, gut strukturierte Formate, die für die Analyse bereit sind. In diesem Modul werden Techniken für die Erstellung von Profilen der Datenqualität, die Auswahl geeigneter Spaltentypen, das Auflösen von Duplikaten und Nullwerten, die Anwendung von Filter- und Aggregationsumwandlungen, die Kombination von Datensätzen mit Joins und Set-Operatoren, die Umformung von Daten durch Pivotierung und Denormalisierung und das Laden umgewandelter Daten mit Hilfe von Strategien zum Anhängen, Überschreiben und Zusammenführen untersucht.
Lernziele
Am Ende dieses Moduls können Sie:
- Profildaten mithilfe von SQL-Befehlen und Datenprofilfunktionen zur Bewertung der Datenqualität
- Wählen Sie geeignete Spaltendatentypen aus, um die Speicherung zu optimieren und die Datenintegrität sicherzustellen.
- Identifizieren und Auflösen doppelter, fehlender und NULL-Werte in Datasets
- Anwenden von Filter-, Gruppierungs- und Aggregationsvorgängen zum Transformieren von Daten
- Kombinieren von Datasets mithilfe von Verknüpfungen und Festlegen von Operatoren wie UNION, INTERSECT und EXCEPT
- Daten umformen mithilfe von Denormalisierungs-, Pivot- und Unpivot-Techniken
- Laden von transformierten Daten in Unity-Katalogtabellen mithilfe von INSERT-, MERGE- und Überschreibvorgängen
Voraussetzungen
Die folgenden Voraussetzungen sollten erfüllt werden:
- Grundlegendes Verständnis der Konzepte von Azure Databricks und Unity Catalog
- Vertrautheit mit der SQL- und Python-Programmierung
- Kenntnisse von Datentechnikkonzepten wie Datenqualität und Transformationen