Obohacení tabulek vlastními metadaty

Databricks doporučuje vždy vytvářet komentáře pro tabulky a sloupce v tabulkách. Tyto komentáře můžete vygenerovat pomocí AI. Viz Přidání komentářů generovaných AI do objektů katalogu Unity.

Unity Catalog také umožňuje označovat data štítky. Viz Použití značek na zabezpečené objekty v katalogu Unity.

Zprávy protokolu, které zaznamenávají jednotlivé transakční zápisy do tabulek v transakčním protokolu.

Nastavení metadat potvrzení definovaných uživatelem

Pomocí možnosti userMetadataDataFrameWriter zadejte řetězce definované uživatelem jako metadata ve sloučeních. Tuto možnost můžete použít s jakýmkoli režimem zápisu, včetně append a overwrite. Tato uživatelsky definovaná metadata jsou v DESCRIBE HISTORY operaci čitelná. Další informace najdete v tématu Práce s historií tabulek.

SQL

Pro tabulky Delta:

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Pro tabulky Iceberg:

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata funguje s jakýmkoli režimem zápisu, včetně overwrite a append.

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata funguje s jakýmkoli režimem zápisu, včetně overwrite a append.

Poznámky k typům výpočetních prostředků

Na klasických výpočetních prostředcích můžete také zadat uživatelsky definovaná metadata potvrzení pomocí konfiguračních klíčů spark.databricks.delta.commitInfo.userMetadata SparkSession (Delta) nebo spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Pokud je zadána možnost userMetadata DataFrameWriter i konfigurace SparkSession, má přednost možnost DataFrameWriter.

Na výpočetních prostředcích bez serveru použijte přímo možnost userMetadata DataFrameWriter. Konfigurační klíče SparkSession pro metadata potvrzení se na výpočetních prostředcích bez serveru nepodporují.