Memperkaya tabel dengan metadata kustom

Databricks merekomendasikan untuk selalu memberikan komentar untuk tabel dan kolom dalam tabel. Anda dapat membuat komentar ini menggunakan AI. Lihat Menambahkan komentar yang dihasilkan AI ke objek Katalog Unity.

Unity Catalog juga menyediakan kemampuan untuk menandai data. Lihat Terapkan tag pada objek yang dapat diamankan di Katalog Unity.

Pesan log untuk transaksi individual ke tabel dalam kolom di log transaksi.

Mengatur metadata commit yang ditentukan pengguna

Tentukan string yang didefinisikan pengguna sebagai metadata dalam komit menggunakan opsi DataFrameWriter userMetadata. Anda dapat menggunakan opsi ini dengan mode tulis apa pun, termasuk append dan overwrite. Metadata yang ditentukan pengguna ini dapat dibaca dalam operasi DESCRIBE HISTORY. Untuk informasi selengkapnya, lihat Bekerja dengan riwayat tabel.

SQL

-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

# userMetadata works with any write mode, including overwrite and append
df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

Scala

// userMetadata works with any write mode, including overwrite and append
df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

Catatan tentang jenis komputasi

Pada komputasi klasik, Anda juga dapat menentukan metadata komit yang ditentukan pengguna dengan menggunakan kunci konfigurasi SparkSession spark.databricks.delta.commitInfo.userMetadata (Delta) atau spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Jika opsi userMetadata DataFrameWriter dan konfigurasi SparkSession ditentukan, opsi DataFrameWriter lebih diutamakan.

Pada komputasi tanpa server, gunakan opsi userMetadata DataFrameWriter secara langsung. Kunci konfigurasi SparkSession untuk metadata penerapan tidak didukung pada komputasi tanpa server.