Arricchire le tabelle Delta Lake con metadati personalizzati

  • Articolo

Databricks consiglia sempre di fornire commenti per tabelle e colonne nelle tabelle. È possibile generare questi commenti usando l'intelligenza artificiale. Vedere Aggiungere commenti generati dall'intelligenza artificiale a una tabella.

Unity Catalog offre anche la possibilità di contrassegnare i dati. Vedere Applicare tag.

È anche possibile registrare i messaggi per i singoli commit nelle tabelle in un campo nel log delle transazioni Delta Lake.

Impostare i metadati di commit definiti dall'utente

È possibile specificare stringhe definite dall'utente come metadati nei commit, usando l'opzione userMetadata DataFrameWriter o la configurazione spark.databricks.delta.commitInfo.userMetadatasparkSession . Se entrambi sono stati specificati, l'opzione assume la preferenza. Questi metadati definiti dall'utente sono leggibili nell'operazione DESCRIBE HISTORY . Vedere Usare la cronologia delle tabelle Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")