Tabellen verrijken met aangepaste metagegevens

Databricks raadt aan altijd opmerkingen voor tabellen en kolommen in tabellen op te geven. U kunt deze opmerkingen genereren met BEHULP van AI. Zie AI-gegenereerde opmerkingen toevoegen aan Unity Catalog-objecten.

Unity Catalog biedt ook de mogelijkheid om gegevens te taggen. Zie Tags toepassen op beveiligbare objecten van Unity Catalog.

Logboekberichten voor afzonderlijke doorvoeringen naar tabellen in een veld in het transactielogboek.

Door de gebruiker gedefinieerde doorvoermetagegevens instellen

Geef door de gebruiker gedefinieerde tekenreeksen op als metagegevens in doorvoeringen met behulp van de optie userMetadataDataFrameWriter. U kunt deze optie gebruiken met elke schrijfmodus, inclusief append en overwrite. Deze door de gebruiker gedefinieerde metagegevens kunnen worden gelezen in de DESCRIBE HISTORY bewerking. Zie Werken met tabelgeschiedenis voor meer informatie.

SQL

-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

# userMetadata works with any write mode, including overwrite and append
df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

Scala

// userMetadata works with any write mode, including overwrite and append
df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

Opmerkingen over rekentypen

Op klassieke berekeningen kunt u ook door de gebruiker gedefinieerde doorvoermetagegevens opgeven met behulp van de SparkSession-configuratiesleutels spark.databricks.delta.commitInfo.userMetadata (Delta) of spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Als zowel de optie userMetadata DataFrameWriter als de SparkSession-configuratie zijn opgegeven, heeft de optie DataFrameWriter voorrang.

Gebruik op serverloze berekeningen de optie userMetadata DataFrameWriter rechtstreeks. De SparkSession-configuratiesleutels voor doorvoermetagegevens worden niet ondersteund op serverloze berekeningen.