Datenformatoptionen

Azure Databricks verfügt über integrierte Schlüsselwortbindungen für alle Datenformate, die nativ von Apache Spark unterstützt werden. Azure Databricks verwendet Delta Lake als Standardprotokoll zum Lesen und Schreiben von Daten und Tabellen, während Apache Spark Parquet verwendet.

Diese Artikel bieten eine Übersicht über viele der Optionen und Konfigurationen, die für Abfragen von Daten in Azure Databricks verfügbar sind.

Die folgenden Datenformate verfügen alle über integrierte Schlüsselwortkonfigurationen in Apache Spark-DataFrames und SQL:

• Delta Lake
• Eisberg
• OpenSharing
• Parquet
• ORK
• JSON
• CSV
• Avro
• Text
• Binär
• XML

Azure Databricks bietet außerdem ein benutzerdefiniertes Schlüsselwort zum Laden von MLflow-Experimenten.

Datenformate mit besonderen Überlegungen

Einige Datenformate erfordern ggf. eine zusätzliche Konfiguration oder besondere Überlegungen für ihre Verwendung:

• Databricks empfiehlt das Laden von Bildern als binary-Daten.
• Die meisten Formate unterstützen die Schreibkomprimierung über die compression Option. Details zur Konfiguration finden Sie im Abschnitt "Komprimierung" in der Dokumentation zu den einzelnen Formaten. Azure Databricks können auch direkt komprimierte Dateien in vielen Formaten lesen, und Sie können komprimierte Dateien bei Bedarf auf Azure Databricks entzippen.
  • Textbasiert (CSV, JSON, XML, Text): (Standard), nonebzip2, , gzip, lz4, snappyund deflatezstd
  • Parquet: snappy (Standardwert), gzip, lzo, brotli, lz4 und zstd
  • ORC: snappy, zlibund lzo
  • Avro: snappy (Standard), deflate, bzip2, xz, und zstandard

Weitere Informationen zu Apache Spark-Datenquellen finden Sie unter Generische Funktionen zum Laden/Speichern und Generische Optionen für Dateiquellen.