Обогащение таблиц пользовательскими метаданными

Databricks рекомендует всегда предоставлять комментарии для таблиц и столбцов в таблицах. Эти комментарии можно создать с помощью ИИ. См. добавление комментариев, созданных ИИ, в объекты каталога Unity.

Каталог Unity также предоставляет возможность тегировать данные. См. раздел "Применение тегов к защищаемым объектам каталога Unity".

Журналирование сообщений для индивидуальных фиксаций в таблицах в поле в журнале транзакций.

Настройка метаданных фиксации, определяемых пользователем

Укажите строки, определяемые пользователем, в качестве метаданных в фиксациях с помощью параметра userMetadata DataFrameWriter. Этот параметр можно использовать с любым режимом записи, включая append и overwrite. Эти пользовательские метаданные доступны для чтения в операции DESCRIBE HISTORY. Дополнительные сведения см. в разделе "Работа с журналом таблиц".

SQL

-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

# userMetadata works with any write mode, including overwrite and append
df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

Scala

// userMetadata works with any write mode, including overwrite and append
df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

Заметки о типах вычислений

В классических вычислениях можно также указать пользовательские метаданные фиксации с помощью ключей spark.databricks.delta.commitInfo.userMetadata конфигурации SparkSession (Delta) или spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Если указан параметр userMetadata DataFrameWriter и конфигурация SparkSession, параметр DataFrameWriter имеет приоритет.

В бессерверных вычислениях используйте параметр userMetadata DataFrameWriter напрямую. Конфигурационные ключи SparkSession для метаданных коммита не поддерживаются в средах с безсерверными вычислениями.