以自訂元資料豐富資料

Databricks 建議一律為資料表和資料表中的資料行提供註解。 您可以使用 AI 產生這些註解。 請參閱將 AI 產生的註解新增至 Unity Catalog 物件。

Unity Catalog 也提供標記資料的功能。 請參閱將標籤套用至 Unity Catalog 安全物件。

在交易日誌的某欄位中記錄針對資料表的個別提交訊息。

設定使用者自訂的提交元資料

在提交中指定使用者定義字串作為元資料，使用 DataFrameWriter 選項 userMetadata。 你可以在任何寫入模式使用此選項，包括 append 和 overwrite。 此使用者定義的中繼資料在 DESCRIBE HISTORY 作業中可讀取。 欲了解更多資訊，請參閱 「與表格歷史共事」。

SQL

-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

# userMetadata works with any write mode, including overwrite and append
df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

Scala

// userMetadata works with any write mode, including overwrite and append
df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

關於計算類型的說明

在經典運算中，你也可以使用 SparkSession 配置鍵 spark.databricks.delta.commitInfo.userMetadata （Delta）或 spark.databricks.iceberg.commitInfo.userMetadata （Iceberg）來指定使用者定義的提交元資料。 若同時指定 DataFrameWriter 選項 userMetadata 與 SparkSession 配置，則 DataFrameWriter 選項優先。

在無伺服器運算時，直接使用 DataFrameWriter 選項 userMetadata 。 SparkSession 用於提交元資料的設定鍵在無伺服器運算中不被支援。