Enriquecimiento de tablas de Delta Lake con metadatos personalizados
Databricks recomienda proporcionar siempre comentarios para tablas y columnas en tablas. Puede generar estos comentarios mediante IA. Consulte Agregar comentarios generados por IA a una tabla.
Unity Catalog también proporciona la capacidad de etiquetar datos. Vea Aplicar etiquetas a objetos protegibles de Unity Catalog.
También puede registrar mensajes para confirmaciones individuales en tablas en un campo en el registro de transacciones de Delta Lake.
Establecimiento de metadatos de confirmación definidos por el usuario
Puede especificar cadenas definidas por el usuario como metadatos en confirmaciones, ya sea mediante la opción userMetadata
de DataFrameWriter o la configuración spark.databricks.delta.commitInfo.userMetadata
de SparkSession. Si se ha especificado tanto la opción como la configuración, la opción tiene preferencia. Estos metadatos definidos por el usuario son legibles en la operación de DESCRIBE HISTORY
. Consulte Trabajar con el historial de tablas de Delta Lake.
SQL
SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople
Python
df.write.format("delta") \
.mode("overwrite") \
.option("userMetadata", "overwritten-for-fixing-incorrect-data") \
.save("/tmp/delta/people10m")
Scala
df.write.format("delta")
.mode("overwrite")
.option("userMetadata", "overwritten-for-fixing-incorrect-data")
.save("/tmp/delta/people10m")
Comentarios
https://aka.ms/ContentUserFeedback.
Próximamente: A lo largo de 2024 iremos eliminando gradualmente GitHub Issues como mecanismo de comentarios sobre el contenido y lo sustituiremos por un nuevo sistema de comentarios. Para más información, vea:Enviar y ver comentarios de