Anreichern von Delta Lake-Tabellen mit benutzerdefinierten Metadaten

Databricks empfiehlt, immer Kommentare für Tabellen und Spalten in Tabellen bereitzustellen. Sie können diese Kommentare mithilfe von KI generieren. Siehe Hinzufügen von KI-generierten Kommentaren zu Unity Catalog-Objekten.

Unity Catalog bietet auch die Möglichkeit, Daten zu kategorisieren. Weitere Informationen finden Sie unter Anwenden von Tags auf sicherungsfähige Unity Catalog-Objekte.

Sie können auch Nachrichten für einzelne Commits in Tabellen in einem Feld im Delta Lake-Transaktionsprotokoll protokollieren.

Festlegen benutzerdefinierter Commitmetadaten

Sie können benutzerdefinierte Zeichenfolgen als Metadaten in Commits angeben, indem Sie entweder die DataFrameWriter-Option userMetadata oder die SparkSession-Konfiguration spark.databricks.delta.commitInfo.userMetadata verwenden. Wenn beide angegeben werden, erhält die Option Vorrang. Diese benutzerdefinierten Metadaten sind im Vorgang DESCRIBE HISTORY lesbar. Weitere Informationen finden Sie unter Arbeiten mit dem Delta Lake-Tabellenverlauf.

SQL

SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")