Enriquecimiento de tablas con metadatos personalizados

Databricks recomienda proporcionar siempre comentarios para tablas y columnas en tablas. Puede generar estos comentarios mediante IA. Consulte Adición de comentarios generados por IA a objetos de catálogo de Unity.

Unity Catalog también proporciona la capacidad de etiquetar datos. Vea Aplicar etiquetas a objetos protegibles de Unity Catalog.

Registrar mensajes de confirmaciones individuales en tablas dentro de un campo del registro de transacciones.

Establecimiento de metadatos de confirmación definidos por el usuario

Especifique cadenas definidas por el usuario como metadatos en confirmaciones mediante la opción userMetadataDataFrameWriter . Puede usar esta opción con cualquier modo de escritura, incluidos append y overwrite. Estos metadatos definidos por el usuario son legibles en la operación de DESCRIBE HISTORY. Para obtener más información, consulte Trabajar con historial de tablas.

SQL

-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

# userMetadata works with any write mode, including overwrite and append
df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

Scala

// userMetadata works with any write mode, including overwrite and append
df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

Notas sobre los tipos de cómputo

En la computación clásica, también puede especificar metadatos de confirmación definidos por el usuario mediante las claves spark.databricks.delta.commitInfo.userMetadata de configuración de SparkSession (Delta) o spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Si se especifican la opción userMetadata DataFrameWriter y la configuración de SparkSession, la opción DataFrameWriter tiene prioridad.

En computación sin servidor, utilice directamente la opción userMetadata de DataFrameWriter. Las claves de configuración de SparkSession para los metadatos de confirmación no se admiten en el proceso sin servidor.