Übersicht über den Delta Lake

Microsoft Fabric verwendet Delta Lake als universelles Speicherformat für alle Workloads. Ganz gleich, ob Sie Data Warehouses erstellen, Lakehouses erstellen, Pipelines koordinieren oder Daten mit Power BI analysieren, Ihre Daten werden im Delta Lake-Format in OneLake gespeichert.

Für die meisten Szenarien funktioniert Delta Lake transparent im Hintergrund – Sie müssen es nicht verstehen, um Fabric effektiv zu verwenden. Wenn Sie jedoch die Leistung optimieren, externe Systeme integrieren oder Fehler in workloadübergreifenden Szenarien beheben, hilft Ihnen ein Verständnis von Delta Lake, effizienter zu arbeiten.

Was ist Delta Lake?

Delta Lake ist eine Open-Source-Speicherschicht, die für Zuverlässigkeit und Leistung bei Data Lakes sorgt. Im Kern kombiniert Delta Lake zwei Elemente:

  • Parkettdateien – ein effizientes Spaltenspeicherformat für Analysen.
  • Transaktionsprotokoll – Ein Datensatz aller Änderungen an den Daten, die ACID-Garantien ermöglichen.

Diese Kombination bietet Möglichkeiten, die herkömmliche dateibasierte Speicherlösungen nicht bieten können:

  • ACID-Transaktionen: Atom-, konsistente, isolierte und dauerhafte Vorgänge sorgen für datenintegrität, auch wenn mehrere Prozesse gleichzeitig lesen und schreiben
  • Zeitreise: Daten in dem Zustand abfragen, in dem sie sich zu einem beliebigen Zeitpunkt befanden, Fehler rückgängig machen oder historische Änderungen prüfen
  • Schemaentwicklung: Hinzufügen, Entfernen oder Ändern von Spalten ohne Umschreiben vorhandener Daten
  • Einheitliches Batch- und Streaming:Verarbeiten von Echtzeit- und Batchdaten mit demselben Tabellenformat

Delta Lake wird als Linux Foundation-Projekt mit einer offenen Spezifikation verwaltet, was bedeutet, dass es plattformübergreifend funktioniert – Databricks, Azure Synapse Analytics, AWS und Open-Source Apache Spark-Umgebungen unterstützen alle Delta Lake-Tabellen.

Warum Fabric Delta Lake verwendet

Microsoft Fabric wählte Delta Lake als universelles Format, um eine grundlegende Herausforderung zu lösen: Alle Workloads können Daten ohne Duplizierung oder komplexe ETL-Prozesse freigeben.

OneLake + Delta Lake = einzelne Quelle der Wahrheit

OneLake speichert standardmäßig alle Daten als Delta Parquet. Diese Architekturentscheidung bedeutet:

  • Keine Datensilos: Ein Lakehouse, ein Warehouse und eine KQL-Datenbank können alle dieselbe Delta-Tabelle lesen.
  • Kein ETL zwischen Workloads: Daten, die von einer Engine geschrieben werden, sind für andere sofort lesbar.
  • Eine Kopie der Daten: Ihre Organisation verwaltet eine einzige Version der Wahrheit, reduziert die Speicherkosten und beseitigt Datensynchronisierungsprobleme.

Auf Delta basierende Leistungsoptimierung

Fabric erweitert Delta Lake mit Leistungsfeatures, die für die Plattform entwickelt wurden:

  • V-Order: Fabric-spezifische Schreiboptimierung, die Daten für eine schnellere Abfrageleistung in allen Engines neu organisiert
  • Automatische Tabellenwartung: Fabric kann kleine Dateien automatisch komprimieren und alte Daten bereinigen
  • Integration mit Fabric Services: Delta-Tabellen arbeiten nahtlos mit Power BI Direct Lake-, SQL-Analyse-Endpunkten, Pipelines und Notizbüchern zusammen.

Diese Kombination aus offenen Standards und Fabric Optimierungen bietet Ihnen sowohl Portabilität als auch Leistung.

Grundlegendes zu Ihrer Delta Lake-Reise

Wie viel Sie über Delta Lake wissen müssen, hängt davon ab, was Sie in Fabric tun:

Delta Lake ist für die meisten Benutzer transparent

Wenn Sie mit diesen Szenarien arbeiten, behandelt Fabric Delta Lake automatisch:

  • Abfragen von Daten mit SQL: SQL-Analyseendpunkte und Data Warehouses abstraktes Delta hinter einer SQL-Schnittstelle – Sie fragen Tabellen mithilfe von T-SQL ab, ohne über Dateiformate nachzudenken
  • Berichte in Power BI erstellen: Power BI Direct Lake greift nahtlos auf Delta-Tabellen zu, um Echtzeitanalysen bereitzustellen
  • Laden von Daten mit Pipelines: Die Data Factory-Kopieraktivität schreibt standardmäßig im Delta-Format, wenn Lakehouse-Tabellen als Ziel verwendet werden

Für diese Erfahrungen ist Delta Lake ein Implementierungsdetail, das Sie nicht verwalten müssen.

Sie profitieren von der Kenntnis von Delta, wenn

Für bestimmte Szenarien sind Kenntnisse der Delta Lake-Features erforderlich:

  • Optimieren der Abfrageleistung: Grundlegendes zu V-Order-, Tabellenkomprimierungs- und Partitionierungsstrategien hilft Ihnen, Tabellen für schnellere Abfragen zu optimieren.
  • Integration in externe Delta-Tabellen: Das Herstellen einer Verbindung mit Delta-Tabellen in Databricks, Snowflake, Amazon S3 oder anderen Plattformen erfordert Kenntnisse der Featurekompatibilität.
  • Verwenden erweiterter Spark-Features: Löschen von Vektoren, Spaltenzuordnung, Typweiterung und Flüssigclustering bieten leistungsstarke Funktionen, benötigen jedoch eine explizite Konfiguration.
  • Problembehandlung bei workloadübergreifenden Szenarien: Wenn sich Daten, die von einer Engine geschrieben wurden, in einer anderen nicht wie erwartet verhalten, hilft Ihnen das Verständnis der Unterstützung von Delta-Features dabei, Probleme zu diagnostizieren.

Auswählen Ihres Lernpfads

Ihr Einstiegspunkt in die Dokumentation zum Delta Lake hängt von Ihrer Rolle ab:

Datentechniker und Spark-Entwickler sollten mit Lakehouse- und Delta Lake-Tabellen beginnen, um eine umfassende Abdeckung von Delta in Spark-Kontexten zu ermöglichen, einschließlich Optimierungsmustern, Tabellenwartung und Laufzeitkonfigurationen.

SQL-Benutzer und data warehouse Entwickler sollten Data Warehouse-Architektur untersuchen, um zu verstehen, wie Delta Lagerfunktionen wie Zeitreisen, Klonen und ACID-Compliance unterstützt.

Pipeline- und Datenintegrationsentwickler sollten den Lakehouse-Connector in Data Factory überprüfen, um zu erfahren, wie Pipelines Delta-Tabellen schreiben und die Spaltenzuordnung behandeln.

Jeder, der über Workloads hinweg arbeitet sollte auf Delta Lake-Tabellenformatinteroperabilität verweisen für die autoritative Featureunterstützungsmatrix, die zeigt, welche Delta-Funktionen in jeder Fabric Erfahrung funktionieren.

Tabellenoptimierung und -wartung

Während Fabric viele Optimierungsaufgaben automatisch verarbeitet, können Sie die Leistung für bestimmte Szenarien verbessern:

  • V-Order-Optimierung: Schreiben Sie Daten mit aktivierter V-Order, um die Leseleistung in allen Abfrage-Engines zu verbessern
  • Tabellenkomprimierung: Kombinieren kleiner Dateien in größere Dateien mithilfe von OPTIMIZE-Befehlen, um den Abfrageaufwand zu verringern
  • Z-Sortierung: Organisieren von Daten nach häufig gefilterten Spalten, um selektive Abfragen zu beschleunigen
  • Vakuumbetrieb: Entfernen Sie alte Dateiversionen, um die Speicherkosten zu senken.

Ausführliche Anleitungen zum Zeitpunkt und zur Verwendung dieser Techniken für verschiedene Workloads finden Sie unter Tabellenwartung und Optimierung.

Delta Lake und externe Systeme

Die offene Spezifikation von Delta Lake ermöglicht die Integration mit Systemen außerhalb Fabric:

  • OneLake-Verknüpfungen: Referenz-Delta-Tabellen, die in Amazon S3, Azure Data Lake Storage oder Databricks gespeichert sind, ohne Daten zu kopieren
  • Delta-Freigabe: Freigeben von Delta-Tabellen in Organisationen mithilfe des offenen Delta Sharing-Protokolls
  • Cross-Platform-Kompatibilität: Tabellen, die in Databricks oder Azure Synapse erstellt wurden, können in Fabric gelesen werden, vorbehaltlich von Featureunterstützungseinschränkungen

Wenn Sie externe Delta-Tabellen integrieren, konsultieren Sie die Funktionsinteroperabilitätsmatrix, um nachzuvollziehen, welche Delta Lake-Funktionen von jeder Fabric-Umgebung unterstützt werden.

Verwandte Inhalte

  • Last updated on