Tabloları özel meta verilerle zenginleştirme

Databricks, tablolardaki tablolar ve sütunlar için her zaman açıklama oluşturmanızı önerir. Bu açıklamaları yapay zeka kullanarak oluşturabilirsiniz. Bkz. Unity Kataloğu nesnelerine yapay zeka tarafından oluşturulan açıklamalar ekleme.

Unity Kataloğu'nun verileri etiketleme özelliği de vardır. Bkz. Unity Kataloğu güvenliği sağlanabilir nesnelere etiket uygulayın.

İşlem günlüğünde, bir alandaki tablolara yapılan bireysel işleme kayıt mesajlarını günlüğe kaydetme.

Kullanıcı tanımlı işleme meta verilerini ayarlama

DataFrameWriter seçeneğini userMetadatakullanarak işlemelerde meta veri olarak kullanıcı tanımlı dizeler belirtin. Bu seçeneği append ve overwrite dahil olmak üzere herhangi bir yazma moduyla kullanabilirsiniz. DESCRIBE HISTORY işleminde bu kullanıcı tanımlı meta veri okunabilir. Daha fazla bilgi için Tablo geçmişi şeması ve işlem metrikleri bölümlerine bakınız.

SQL

Delta tabloları için:

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Iceberg tabloları için:

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadatave overwritedahil olmak üzere append tüm yazma modlarıyla çalışır.

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadatave overwritedahil olmak üzere append tüm yazma modlarıyla çalışır.

İşlem türleriyle ilgili notlar

Klasik işlemde SparkSession yapılandırma anahtarlarını spark.databricks.delta.commitInfo.userMetadata (Delta) veya spark.databricks.iceberg.commitInfo.userMetadata (Iceberg) kullanarak kullanıcı tanımlı işleme meta verilerini de belirtebilirsiniz. Hem DataFrameWriter seçeneği userMetadata hem de SparkSession yapılandırması belirtilirse, DataFrameWriter seçeneği önceliklidir.

Sunucusuz işlemde dataframewriter seçeneğini userMetadata doğrudan kullanın. İşleme meta verileri için SparkSession yapılandırma anahtarları sunucusuz işlemde desteklenmez.