Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Delta Lake- und Apache Iceberg-Tabellen verwenden Tabelleneigenschaften zum Konfigurieren von Verhalten und Features, einschließlich Datenlayout, Dateigröße, Datensprung, Isolationsstufe und Ändern des Datenfeeds.
Hinweis
Alle Vorgänge, die Tabelleneigenschaften festlegen oder aktualisieren, führen zu einem Konflikt mit anderen gleichzeitigen Schreibvorgängen, wodurch sie fehlschlagen. Für Databricks wird empfohlen, eine Tabelleneigenschaft nur dann zu ändern, wenn keine gleichzeitigen Schreibvorgänge in der Tabelle erfolgen.
Tabelleneigenschaften ändern
Um Tabelleneigenschaften vorhandener Tabellen zu ändern, verwenden Sie SET TBLPROPERTIES.
Element- und Iceberg-Eigenschaftspräfixe
Delta Lake- und Apache Iceberg-Tabellen verwenden dieselben Tabelleneigenschaftennamen, erfordern jedoch unterschiedliche Präfixe:
-
Delta Lake-Tabellen: Verwenden Sie das Präfix
delta. -
Iceberg-Tabellen: Verwenden Sie das Präfix
iceberg.
So aktivieren Sie beispielsweise Löschvektoren in einer Tabelle:
Delta-See
ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);
Iceberg
ALTER TABLE <table-name> SET TBLPROPERTIES ('iceberg.enableDeletionVectors' = true);
Tabelleneigenschaften und SparkSession -eigenschaften
Jede Tabelle verfügt über eigene Tabelleneigenschaften, die das Verhalten steuern. Einige SparkSession Konfigurationen überschreiben immer Tabelleneigenschaften. Aktivieren Sie beispielsweise autoCompact.enabled die automatische Komprimierung und optimierte Schreibvorgänge auf der optimizeWrite.enabledSparkSession Ebene. Databricks empfiehlt die Verwendung von tabellenbezogenen Konfigurationen für die meisten Workloads.
Sie können Standardwerte für neue Tabellen mithilfe von SparkSession Konfigurationen festlegen. Diese Standardwerte gelten nur für neue Tabellen und wirken sich nicht auf vorhandene Tabelleneigenschaften aus.
SparkSession Konfigurationen verwenden ein anderes Präfix als Tabelleneigenschaften, wie in der folgenden Tabelle gezeigt:
| Table-Eigenschaft |
SparkSession Konfiguration |
|---|---|
delta.<conf>iceberg.<conf> |
spark.databricks.delta.properties.defaults.<conf>spark.databricks.iceberg.properties.defaults.<conf> |
Wenn Sie beispielsweise die appendOnly = true Eigenschaft für alle neuen Tabellen festlegen möchten, die in einer Sitzung erstellt wurden, legen Sie Folgendes fest:
Delta-See
SET spark.databricks.delta.properties.defaults.appendOnly = true
Iceberg
SET spark.databricks.iceberg.properties.defaults.appendOnly = true
Tabelleneigenschaften
Die meisten der folgenden Tabelleneigenschaften sind für Delta Lake- und Apache Iceberg-Tabellen verfügbar, es sei denn, dies ist angegeben. Verwenden Sie das delta. Präfix für Delta Lake-Tabellen und iceberg. -Präfix für Iceberg-Tabellen.
| Eigentum | Description |
|---|---|
appendOnly |
true Um die Tabelle nur als Anhang zu machen. Anfügetabellen erlauben weder das Löschen vorhandener Datensätze noch das Aktualisieren vorhandener Werte.Datentyp: BooleanStandardwert: false |
autoOptimize.autoCompact |
Kombiniert automatisch kleine Dateien in Tabellenpartitionen, um kleine Dateiprobleme zu reduzieren. Akzeptiert auto (empfohlen), true, , legacyoder false.Siehe Automatische Komprimierung. Datentyp: StringStandardwert: (None) |
autoOptimize.optimizeWrite |
true um das Layout der Dateien für diese Tabelle während des Schreibens automatisch zu optimieren.Siehe "Optimierte Schreibvorgänge". Datentyp: BooleanStandardwert: (None) |
checkpoint.writeStatsAsJson |
true um Dateistatistiken in Checkpoints im JSON-Format für die Spalte stats zu schreiben.Datentyp: BooleanStandardwert: false |
checkpoint.writeStatsAsStruct |
true Um Dateistatistiken im Strukturformat für die Spalte stats_parsed an Checkpoints zu schreiben und Partitionswerte als Struktur für partitionValues_parsedzu schreiben.Datentyp: BooleanStandardwert: true |
checkpointPolicy |
classic für klassische Checkpoints.
v2 Für V2-Checkpoints.Siehe Prüfpunkt V2 und Kompatibilität für Tabellen mit flüssigem Clustering. Datentyp: StringStandardwert: classic |
columnMapping.mode |
Aktiviert die Spaltenzuordnung für Tabellenspalten und die entsprechenden Parkettspalten, die unterschiedliche Namen verwenden. Gültige Werte sind none, nameund id.Siehe Umbenennen und Löschen von Spalten mit der Delta Lake-Spaltenzuordnung. Hinweis: Durch das Aktivieren von columnMapping.mode wird randomizeFilePrefixes automatisch ebenfalls aktiviert.Datentyp: DeltaColumnMappingModeStandardwert: none |
compatibility.symlinkFormatManifest.enabled (Nur Delta Lake) |
true um die Delta Lake-Tabelle so zu konfigurieren, dass alle Schreibvorgänge auf der Tabelle die Manifeste automatisch aktualisieren.Datentyp: BooleanStandardwert: false |
dataSkippingNumIndexedCols |
Die Anzahl der Spalten, über die Statistiken zum Zweck des Datenüberspringens gesammelt werden sollen. Ein Wert von -1 bedeutet, dass Statistiken für alle Spalten gesammelt werden.Siehe Datenüberspringen. Datentyp: IntStandardwert: 32 |
dataSkippingStatsColumns |
Eine durch Kommas getrennte Liste von Spaltennamen, für die Statistiken gesammelt werden sollen, um die Datenüberspringfunktionalität zu verbessern. Diese Eigenschaft hat Vorrang vor dataSkippingNumIndexedCols.Siehe Datenüberspringen. Datentyp: StringStandardwert: (None) |
deletedFileRetentionDuration |
Die kürzeste Dauer, um logisch gelöschte Datendateien beizubehalten, bevor sie physisch gelöscht werden. Dadurch werden Fehler in veralteten Lesern nach Komprimierungen oder Partitionsüberschreibungen verhindert. Databricks empfiehlt den Standardwert von 7 Tagen oder höher. Wenn der Aufbewahrungsfrist zu kurz ist, werden möglicherweise uncommittete Dateien gelöscht, bevor der Auftrag abgeschlossen ist. Siehe Konfigurieren der Datenaufbewahrung für Zeitreiseabfragen. Datentyp: CalendarIntervalStandardwert: interval 1 week |
enableChangeDataFeed |
true um den Datenfluss ändern zu aktivieren.Siehe "Ändern des Datenfeeds verwenden". Datentyp: BooleanStandardwert: false |
enableColumnUpdates-preview (Nur Delta Lake) |
Setzen Sie ein, true um effiziente Spaltenaktualisierungen (Beta) zu aktivieren. Lese- und Schreibvorgänge erfordern Databricks Runtime 19 oder höher. Die Tabelle muss außerdem Katalog-Commits, Zeilenverfolgung, Löschvektoren und Spaltenzuordnung im Modus id verwenden.Siehe Effiziente Spaltenaktualisierungen in Delta Lake. Datentyp: BooleanStandardwert: false |
enableDeletionVectors |
true um Löschvektoren und prädiktive I/O für Updates zu aktivieren.Siehe Löschen von Vektoren in Databricks und Aktivieren von Löschvektoren. Datentyp: BooleanStandard: Hängt von den Administratoreinstellungen des Arbeitsbereichs und der Databricks Runtime-Version ab. Weitere Informationen finden Sie unter Automatische Aktivierung von Löschvektoren. |
enableIcebergCompatV2 (Nur Delta Lake) |
true um IcebergCompatV2 zu aktivieren, das Daten in einem mit Iceberg-Readern kompatiblen Format schreibt. Um Eisberg-Lesungen zu ermöglichen, setzen Sie diese Eigenschaft zusammen mit universalFormat.enabledFormats.Siehe Delta Lake-Tabellen mit Iceberg-Clients lesen. Datentyp: BooleanStandardwert: (None) |
enableRowTracking (Nur Delta Lake) |
true um das Zeilentracking zu aktivieren, bei dem stabile Zeilen-IDs und Zeilen-Commit-Versionen für zeilenbezogene Lineage zugewiesen werden. Verfügbar in Databricks Runtime 14.0 und höher. Apache Iceberg v3 Tabellen enthalten automatisch Zeilenverfolgung.Siehe Zeilenverfolgung in Azure Databricks. Datentyp: BooleanStandardwert: false |
enableTypeWidening |
true um die Schrifterweiterung zu aktivieren.Weitere Informationen finden Sie unter Typerweiterung. Datentyp: BooleanStandardwert: false |
format-version (Nur verwaltete Tabellen für Apache Iceberg) |
Die Version des Iceberg-Tabellenformats. Databricks empfiehlt nicht, diese Eigenschaft manuell zu konfigurieren. Siehe "Apache Iceberg v3-Features verwenden". Datentyp: IntStandardwert: 2 |
isolationLevel |
Das Ausmaß, inwieweit eine Transaktion von Änderungen durch gleichzeitige Transaktionen isoliert sein muss. Gültige Werte sind Serializable und WriteSerializable.Siehe Isolationsstufen (WriteSerializable und Serializable). Datentyp: StringStandardwert: WriteSerializable |
logRetentionDuration |
Wie lange die Historie einer Tabelle aufbewahrt werden soll. Databricks bereinigt automatisch Protokolleinträge, die älter als das Aufbewahrungsintervall sind, jedes Mal, wenn ein Prüfpunkt geschrieben wird. Wenn Sie diese Eigenschaft auf einen großen Wert festlegen, bleiben viele Protokolleinträge erhalten. Dies wirkt sich nicht auf die Leistung aus, da Vorgänge in konstanter Zeit gegen das Protokoll ausgeführt werden. Vorgänge in der Historie sind parallel, werden aber kostenintensiver, wenn die Protokollgröße zunimmt. Siehe Konfigurieren der Datenaufbewahrung für Zeitreiseabfragen. Datentyp: CalendarIntervalStandardwert: interval 30 days |
minReaderVersion (Nur Delta Lake) |
Die mindestens erforderliche Protokollleseversion, die aus dieser Tabelle gelesen werden soll. Databricks empfiehlt nicht, diese Eigenschaft manuell zu konfigurieren. Siehe Delta Lake Featurekompatibilität und Protokolle. Datentyp: IntStandardwert: 1 |
minWriterVersion (Nur Delta Lake) |
Die mindestens erforderliche Protokollschreiberversion, um zu dieser Tabelle zu schreiben. Databricks empfiehlt nicht, diese Eigenschaft manuell zu konfigurieren. Siehe Delta Lake Featurekompatibilität und Protokolle. Datentyp: IntStandardwert: 2 |
parquet.compression.codec |
Der Komprimierungscodec für eine Tabelle. Gültige Werte: ZSTD, SNAPPY, GZIP, LZ4, BROTLI (Unterstützung variiert je nach Format)In Databricks Runtime 16.0 und höher verfügbar, wendet die Einstellung dieser Eigenschaft den gewählten Codec auf alle zukünftigen Schreibvorgänge in die Tabelle an und überschreibt dabei den Cluster- oder Session-Standard ( spark.sql.parquet.compression.codec). Sie können diese Tabelleneigenschaft mit einem DataFrame .write.option("compression", "...")überschreiben. Das Setzen der Eigenschaft schreibt keine bestehenden Dateien um. Um bestehende Daten mit Ihrem gewählten Codec neu zu komprimieren, verwenden OPTIMIZE table_name FULLSie . Für von Unity Catalog verwaltete Delta Lake-Tabellen schreibt Databricks explizit (ZSTD) beim Erstellen der Tabelleparquet.compression.codec, sodass der separate Delta-Standard spark.databricks.delta.properties.defaults.parquet.compression.codec keinen Einfluss hat. Für neue externe Delta Lake-Tabellen verwenden spark.databricks.delta.properties.defaults.parquet.compression.codecSie .Datentyp: StringStandardwert: ZSTD |
parquet.format.version |
Die Beim Schreiben von Datendateien verwendete Parkettformatversion. Durch Festlegen dieser Einstellung 2.12.0 können erweiterte Codierungen, v2-Datenseitenheader und INT64 Zeitstempel aktiviert werden, wodurch die Abfrageleistung verbessert und der Speicherbedarf reduziert werden kann.Gültige Werte sind 1.0.0 und 2.12.0, die Freigaben aus dem Apache-Parkett-Format entsprechen.Diese Eigenschaft kann auf den Tabellen Delta Lake und Apache Iceberg festgelegt werden. Einige OSS Iceberg-Leser unterstützen möglicherweise keine Codierungen von Parkett v2. Informationen finden Sie unter Einschränkungen. Siehe Parkett v2. Datentyp: StringStandardwert: 1.0.0 |
randomizeFilePrefixes |
true um ein zufälliges Präfix für einen Dateipfad anstelle von Partitionsinformationen zu erzeugen.Datentyp: BooleanStandardwert: false |
randomPrefixLength |
Die Anzahl der Zeichen, die für zufällige Präfixe generiert werden, wenn randomizeFilePrefixestrue ist.Datentyp: IntStandardwert: 2 |
setTransactionRetentionDuration |
Die kürzeste Dauer, in der neue Momentaufnahmen Transaktionskennungen (z. B. SetTransaction s) behalten. Neue Momentaufnahmen laufen ab und ignorieren Transaktionsbezeichner, die gleich oder älter als die von dieser Eigenschaft vorgegebene Dauer sind. Der SetTransaction Bezeichner wird verwendet, um Schreiboperationen idempotent zu machen. Weitere Informationen finden Sie unter "Verwenden foreachBatch für idempotent"-Tabelle .Datentyp: CalendarIntervalStandardwert: (None) |
targetFileSize |
Die Zieldateigröße in Bytes oder höheren Einheiten für die Dateioptimierung. Beispiel: 104857600 (Byte) oder 100mb.Siehe "Datendateigröße steuern". Datentyp: StringStandardwert: (None) |
tuneFileSizesForRewrites (Nur Delta Lake) |
true um Dateigrößen so abzustimmen, dass Operationen, die Dateien umschreiben, wie MERGE, schneller ausführen. Das ist nützlich für Tabellen, die häufig Dateien umschreiben.
false um diese Einstellung auszuschalten.Beim Deaktivieren erkennt Databricks automatisch, ob die Tabelle umschreibungsintensiv ist, und passt die Dateigrößen entsprechend auf Umschreibvorgänge wie MERGE und OPTIMIZE entsprechend an.Siehe "Datendateigröße steuern". Datentyp: BooleanStandardwert: (None) |
universalFormat.enabledFormats (Nur Delta Lake) |
Eine komma-getrennte Liste von Formaten, für die Metadaten generiert werden können, damit externe Clients die Delta Lake-Tabelle (UniForm) lesen können. Auf Eisberg-Metadaten einstellen iceberg . Die Einstellung iceberg erfordert entweder enableIcebergCompatV2 = true oder enableIcebergCompatV3 = true. Du kannst nicht beide aktivieren. Siehe "Apache Iceberg v3-Features verwenden".Siehe Delta Lake-Tabellen mit Iceberg-Clients lesen. Datentyp: StringStandardwert: (None) |