Enriquecer tabelas com metadados personalizados

O Databricks recomenda que você sempre crie comentários para tabelas e colunas em tabelas. Você pode gerar esses comentários usando IA. Consulte Adicionar comentários gerados por IA aos objetos do Catálogo do Unity.

O Catálogo do Unity também tem a capacidade de marcar dados. Consulte Aplicar tags a objetos securizáveis no Unity Catalog.

Registrar mensagens para confirmações individuais em tabelas em um campo no log de transações.

Configurar metadados de confirmação definidos pelo usuário

Especifique cadeias de caracteres definidas pelo usuário como metadados em confirmações usando a opção DataFrameWriteruserMetadata. Você pode usar essa opção com qualquer modo de gravação, incluindo append e overwrite. Esses metadados definidos pelo usuário podem ser lidos na operação DESCRIBE HISTORY. Para obter mais informações, consulte Trabalhar com o histórico de tabelas.

SQL

Para tabelas Delta:

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Para tabelas Iceberg:

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata funciona com qualquer modo de gravação, incluindo overwrite e append.

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata funciona com qualquer modo de gravação, incluindo overwrite e append.

Anotações sobre tipos de computação

Na computação clássica, você também pode especificar metadados de confirmação definidos pelo usuário usando as chaves spark.databricks.delta.commitInfo.userMetadata de configuração sparkSession (Delta) ou spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Se a opção userMetadata DataFrameWriter e a configuração SparkSession forem especificadas, a opção DataFrameWriter terá precedência.

Na computação sem servidor, use a opção userMetadata do DataFrameWriter diretamente. Não há suporte para as chaves de configuração do SparkSession para metadados de confirmação na computação sem servidor.