Enrichir des tables Delta Lake avec des métadonnées personnalisées

Databricks recommande toujours d’ajouter des commentaires aux tables et aux colonnes des tables. Vous pouvez générer ces commentaires en utilisant l’IA. Consultez Ajouter des commentaires générés par l’IA à une table.

Unity Catalog offre également la possibilité d’étiqueter les données. Consultez Appliquer des étiquettes aux objets sécurisables Unity Catalog.

Vous pouvez aussi consigner des messages concernant les commits individuels sur des tables dans un champ du journal des transactions Delta Lake.

Définition des métadonnées de validation définies par l’utilisateur

Vous pouvez spécifier des chaînes définies par l’utilisateur en tant que métadonnées dans les commits à l’aide de l’option DataFrameWriter userMetadata ou de la configuration SparkSession spark.databricks.delta.commitInfo.userMetadata. Si les deux ont été spécifiés, l’option prend la préférence. Ces métadonnées définies par l’utilisateur sont lisibles dans l’opération DESCRIBE HISTORY. Consultez Utiliser l’historique des tables Delta Lake.

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")