使用自定義元數據擴充 Delta Lake 數據表

  • 發行項

Databricks 建議一律提供數據表和數據行的批注。 您可以使用 AI 產生這些批注。 請參閱 將 AI 產生的批註新增至數據表。

Unity 目錄也提供標記數據的能力。 請參閱 套用標籤。

您也可以記錄個別認可至 Delta Lake 事務歷史記錄中欄位數據表的訊息。

設定使用者定義的認可元數據

您可以使用 DataFrameWriter 選項 userMetadata 或 SparkSession 組態 spark.databricks.delta.commitInfo.userMetadata，將使用者定義字串指定為認可中的元數據。 如果兩者都已指定，則選項會採用喜好設定。 此使用者定義的元數據可在作業中 DESCRIBE HISTORY 讀取。 請參閱使用 Delta Lake 資料表歷程記錄。

SQL


SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")