إثراء جداول Delta Lake ببيانات تعريف مخصصة
توصي Databricks دائما بتوفير تعليقات للجداول والأعمدة في الجداول. يمكنك إنشاء هذه التعليقات باستخدام الذكاء الاصطناعي. راجع إضافة تعليقات تم إنشاؤها الذكاء الاصطناعي إلى جدول.
يوفر كتالوج Unity أيضا القدرة على وضع علامة على البيانات. راجع تطبيق العلامات.
يمكنك أيضا تسجيل رسائل للتثبيتات الفردية للجداول في حقل في سجل معاملات Delta Lake.
تعيين بيانات تعريف التثبيت المعرفة من قبل المستخدم
يمكنك تحديد السلاسل المعرفة من قبل المستخدم كبيانات تعريف في التثبيتات، إما باستخدام خيار userMetadata
DataFrameWriter أو تكوين spark.databricks.delta.commitInfo.userMetadata
SparkSession . إذا تم تحديد كليهما، فإن الخيار يأخذ التفضيل. بيانات التعريف المعرفة من قبل المستخدم قابلة للقراءة في DESCRIBE HISTORY
العملية. راجع العمل مع محفوظات جدول Delta Lake.
SQL
SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople
Python
df.write.format("delta") \
.mode("overwrite") \
.option("userMetadata", "overwritten-for-fixing-incorrect-data") \
.save("/tmp/delta/people10m")
Scala
df.write.format("delta")
.mode("overwrite")
.option("userMetadata", "overwritten-for-fixing-incorrect-data")
.save("/tmp/delta/people10m")