Enriquecer tabelas do Delta Lake com metadados personalizados

  • Artigo

A Databricks recomenda sempre fornecer comentários para tabelas e colunas em tabelas. Você pode gerar esses comentários usando IA. Confira, Adicionar comentários gerados por IA em uma tabela.

O Catálogo do Unity também oferece a capacidade de marcar dados. Consulte Aplicar tags.

Você também pode registrar mensagens para confirmações individuais em tabelas em um campo no log de transações do Delta Lake.

Configurar metadados de confirmação definidos pelo usuário

Você pode especificar cadeias de caracteres definidas pelo usuário como metadados em confirmações, usando a opção DataFrameWriter userMetadata ou a configuração SparkSession spark.databricks.delta.commitInfo.userMetadata. Se ambas foram especificadas, a opção tem preferência. Esses metadados definidos pelo usuário podem ser lidos na operação DESCRIBE HISTORY. Confira Trabalhar com o histórico de tabelas do Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")