Delta Lake tablolarını özel meta verilerle zenginleştirme

  • Makale

Databricks, tablolardaki tablolar ve sütunlar için her zaman açıklama sağlamayı önerir. Bu açıklamaları yapay zeka kullanarak oluşturabilirsiniz. Bkz. Tabloya yapay zeka tarafından oluşturulan açıklamalar ekleme.

Unity Kataloğu ayrıca verileri etiketleme olanağı da sağlar. Bkz. Etiket uygulama.

Delta Lake işlem günlüğündeki bir alandaki tablolara yönelik tek tek işlemeler için iletileri de günlüğe kaydedebilirsiniz.

Kullanıcı tanımlı işleme meta verilerini ayarlama

DataFrameWriter seçeneğini userMetadata veya SparkSession yapılandırmasını spark.databricks.delta.commitInfo.userMetadatakullanarak işlemelerde meta veri olarak kullanıcı tanımlı dizeler belirtebilirsiniz. Her ikisi de belirtildiyse, seçenek tercihi alır. Kullanıcı tanımlı bu meta veriler işlemde DESCRIBE HISTORY okunabilir. Bkz . Delta Lake tablo geçmişiyle çalışma.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")