Sdílet prostřednictvím

Obohacení tabulek Delta Lake o vlastní metadata

  • Článek

Databricks doporučuje vždy poskytovat komentáře pro tabulky a sloupce v tabulkách. Tyto komentáře můžete vygenerovat pomocí AI. Viz Přidání komentářů generovaných AI do objektů katalogu Unity.

Katalog Unity také poskytuje možnost označit data. Viz Použití značek na zabezpečitelné objekty Katalogu Unity.

Můžete také protokolovat zprávy pro jednotlivá potvrzení do tabulek v poli v transakčním protokolu Delta Lake.

Nastavení metadat potvrzení definovaných uživatelem

Uživatelem definované řetězce můžete zadat jako metadata v potvrzeních, buď pomocí možnosti userMetadata DataFrameWriter nebo konfigurace spark.databricks.delta.commitInfo.userMetadataSparkSession . Pokud byly zadány obě, má tato možnost přednost. Tato uživatelsky definovaná metadata jsou v DESCRIBE HISTORY operaci čitelná. Přečtěte si: Práce s historií tabulky Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")