Vorbereiten und Verarbeiten von Daten mit Azure Databricks
Auf einen Blick
-
Skill
-
Produkt
-
Subject
Meistern Sie die wesentlichen Fähigkeiten zum Erstellen robuster, skalierbarer Datentechniklösungen mit Azure Databricks und Unity Catalog. Erfahren Sie, wie Sie effektive Datenmodelle entwerfen, Daten aus verschiedenen Quellen aufnehmen, Rohdaten in analysefähige Formate umwandeln und die Datenqualität in Ihrer Lakehouse-Architektur sicherstellen.
In diesem Lernpfad erfahren Sie, wie Sie einen Data Engineering-Workflow mit Azure Databricks und Unity Catalog erstellen. Beginnend mit grundlegenden Datenmodellierungskonzepten entwerfen Sie Schemas und Partitionierungsstrategien, die für analytische Workloads optimiert sind. Anschließend erkunden Sie verschiedene Erfassungsmuster - von verwalteten Konnektoren bis hin zu Streaming-Pipelines - um Daten in Ihr Lakehouse zu bringen. Als Nächstes wenden Sie Transformationstechniken an, um Daten für die Geschäftsverwendung zu bereinigen und neu zu gestalten. Schließlich implementieren Sie Qualitätskontrollen, um die Datenintegrität in allen Pipelines aufrechtzuerhalten. Am Ende verfügen Sie über die praktischen Fähigkeiten zum Architekten und Erstellen von produktionsbereiten Datenlösungen im Unity-Katalog.
Voraussetzungen
- Gutes Verständnis von Azure Databricks-Arbeitsbereichen und Unity-Katalogkonzepten
- Vertrautheit mit der SQL- und Python-Programmierung
- Wissen über grundlegende Data Engineering- und Data Warehouse-Konzepte
Erfolgscode
Möchten Sie einen Erfolgscode beantragen?
Module in diesem Lernpfad
Effektive Datenmodellierung bildet die Grundlage einer leistungsfähigen und verwalteten Datenplattform. In diesem Modul wird erläutert, wie Sie Logik für die Erfassung entwerfen, geeignete Tools und Tabellenformate auswählen, Partitionsschemas implementieren, langsam ändernde Dimensionen verwalten, geeignete Daten granularität auswählen und die Tabellenleistung durch Clusteringstrategien in Azure Databricks mit Unity Catalog optimieren.
Die Datenaufnahme ist eine grundlegende Funktion für jede Datenplattform. In diesem Modul werden die umfassenden Techniken untersucht, die in Azure Databricks zum Laden von Daten in Unity-Katalogtabellen verfügbar sind. Sie erfahren, wie Sie verwaltete Connectors mit Lakeflow Connect verwenden, benutzerdefinierten Ingestionscode in Notizbüchern schreiben, SQL-Befehle zum Laden von Batchdateien anwenden, Change-Data-Capture-Feeds verarbeiten, Streaming-Ingestion von Nachrichtenbussen konfigurieren, Auto Loader für automatische Dateierkennung einrichten und Ingestionsworkflows mit Lakeflow-Pipelines orchestrieren.
Das Daten engineering erfordert das Transformieren von Rohdaten in saubere, gut strukturierte Formate, die für die Analyse bereit sind. In diesem Modul werden Techniken für die Profilerstellung der Datenqualität, die Auswahl geeigneter Spaltentypen, das Auflösen von Duplikaten und Nullwerten, das Anwenden von Filter- und Aggregationstransformationen, das Kombinieren von Datasets mit Verknüpfungen und Festlegen von Operatoren, das Ändern von Daten durch Pivoting und Denormalisierung sowie das Laden transformierter Daten mithilfe von Anfüge-, Überschreibungs- und Zusammenführungsstrategien untersucht.
In diesem Modul werden Strategien zur Aufrechterhaltung der hohen Datenqualität in Azure Databricks untersucht. Sie erfahren, wie Sie Validierungsprüfungen implementieren, Schemas erzwingen, Schemaabweichungen verwalten und Pipelineerwartungen verwenden, um die Datenintegrität in allen Datenpipelines sicherzustellen.