Enrichir des tables avec des métadonnées personnalisées

Databricks recommande toujours d’ajouter des commentaires aux tables et aux colonnes des tables. Vous pouvez générer ces commentaires en utilisant l’IA. Consultez Ajouter des commentaires générés par l’IA aux objets Unity Catalog.

Unity Catalog offre également la possibilité d’étiqueter les données. Consultez Appliquer des étiquettes aux objets Unity Catalog sécurisables.

Consignez les messages des validations individuelles sur des tables dans un champ du journal des transactions.

Définir les métadonnées de validation définies par l’utilisateur

Spécifiez des chaînes définies par l’utilisateur en tant que métadonnées dans les commits à l’aide de l’option userMetadataDataFrameWriter. Vous pouvez utiliser cette option avec n’importe quel mode d’écriture, y compris append et overwrite. Ces métadonnées définies par l’utilisateur sont lisibles dans l’opération DESCRIBE HISTORY. Pour plus d’informations, consultez Utilisation de l’historique des tables.

SQL

-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

# userMetadata works with any write mode, including overwrite and append
df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

Scala

// userMetadata works with any write mode, including overwrite and append
df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

Remarques sur les types de calcul

Sur le calcul classique, vous pouvez également spécifier des métadonnées de validation définies par l’utilisateur à l’aide des clés spark.databricks.delta.commitInfo.userMetadata de configuration SparkSession (Delta) ou spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Si l’option userMetadata DataFrameWriter et la configuration SparkSession sont spécifiées, l’option DataFrameWriter est prioritaire.

Pour le calcul sans serveur, utilisez directement l’option userMetadata DataFrameWriter. Les clés de configuration SparkSession pour les métadonnées de validation ne sont pas prises en charge sur le calcul sans serveur.