Enriquecimiento de tablas de Delta Lake con metadatos personalizados

  • Artículo

Databricks recomienda proporcionar siempre comentarios para tablas y columnas en tablas. Puede generar estos comentarios mediante IA. Consulte Agregar comentarios generados por IA a una tabla.

Unity Catalog también proporciona la capacidad de etiquetar datos. Consulte Aplicar etiquetas.

También puede registrar mensajes para confirmaciones individuales en tablas en un campo en el registro de transacciones de Delta Lake.

Establecimiento de metadatos de confirmación definidos por el usuario

Puede especificar cadenas definidas por el usuario como metadatos en confirmaciones, ya sea mediante la opción userMetadata de DataFrameWriter o la configuración spark.databricks.delta.commitInfo.userMetadata de SparkSession. Si se ha especificado tanto la opción como la configuración, la opción tiene preferencia. Estos metadatos definidos por el usuario son legibles en la operación de DESCRIBE HISTORY. Consulte Trabajar con el historial de tablas de Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")