Tabellen verrijken met aangepaste metagegevens

Databricks raadt u aan altijd opmerkingen te maken voor tabellen en kolommen in tabellen. U kunt deze opmerkingen genereren met BEHULP van AI. Zie AI-gegenereerde opmerkingen toevoegen aan Unity Catalog-objecten.

Unity Catalog biedt ook de mogelijkheid om gegevens te taggen. Zie Tags toepassen op beveiligbare objecten in Unity Catalog.

Logboekberichten voor afzonderlijke doorvoeringen naar tabellen in een veld in het transactielogboek.

Door de gebruiker gedefinieerde doorvoermetagegevens instellen

Geef door de gebruiker gedefinieerde tekenreeksen op als metagegevens in doorvoeringen met behulp van de optie userMetadataDataFrameWriter. U kunt deze optie gebruiken met elke schrijfmodus, inclusief append en overwrite. Deze door de gebruiker gedefinieerde metagegevens kunnen worden gelezen in de DESCRIBE HISTORY bewerking. Zie Werken met tabelgeschiedenis voor meer informatie.

SQL

Voor Delta-tabellen:

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Voor Iceberg-tabellen:

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata werkt met elke schrijfmodus, inclusief overwrite en append.

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata werkt met elke schrijfmodus, inclusief overwrite en append.

Opmerkingen over rekentypen

Op klassieke berekeningen kunt u ook door de gebruiker gedefinieerde doorvoermetagegevens opgeven met behulp van de SparkSession-configuratiesleutels spark.databricks.delta.commitInfo.userMetadata (Delta) of spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Als zowel de optie userMetadata DataFrameWriter als de SparkSession-configuratie zijn opgegeven, heeft de optie DataFrameWriter voorrang.

Gebruik op serverloze berekeningen de optie userMetadata DataFrameWriter rechtstreeks. De SparkSession-configuratiesleutels voor doorvoermetagegevens worden niet ondersteund op serverloze berekeningen.