Memperkaya tabel Delta Lake dengan metadata kustom

  • Artikel

Databricks merekomendasikan untuk selalu memberikan komentar untuk tabel dan kolom dalam tabel. Anda dapat membuat komentar ini menggunakan AI. Lihat Menambahkan komentar yang dihasilkan AI ke tabel.

Unity Catalog juga menyediakan kemampuan untuk menandai data. Lihat Menerapkan tag.

Anda juga dapat mencatat pesan untuk penerapan individual ke tabel di bidang di log transaksi Delta Lake.

Mengatur metadata commit yang ditentukan pengguna

Anda dapat menentukan string yang ditentukan pengguna sebagai metadata dalam penerapan, baik menggunakan opsi userMetadata DataFrameWriter atau konfigurasi spark.databricks.delta.commitInfo.userMetadataSparkSession . Jika keduanya telah ditentukan, maka opsi tersebut lebih disukai. Metadata yang ditentukan pengguna ini dapat dibaca dalam DESCRIBE HISTORY operasi. Lihat Bekerja dengan riwayat tabel Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")