Wzbogacanie tabel usługi Delta Lake za pomocą niestandardowych metadanych

Usługa Databricks zaleca zawsze udostępnianie komentarzy do tabel i kolumn w tabelach. Te komentarze można wygenerować przy użyciu sztucznej inteligencji. Zobacz Dodawanie komentarzy generowanych przez sztuczną inteligencję do tabeli.

Katalog aparatu Unity zapewnia również możliwość tagowania danych. Zobacz Stosowanie tagów do zabezpieczanych obiektów wykazu aparatu Unity.

Komunikaty dotyczące poszczególnych zatwierdzeń można również rejestrować w tabelach w polu w dzienniku transakcji usługi Delta Lake.

Ustawianie metadanych zatwierdzenia zdefiniowanego przez użytkownika

Ciągi zdefiniowane przez użytkownika można określić jako metadane w zatwierdzeniach przy użyciu opcji userMetadata DataFrameWriter lub konfiguracji spark.databricks.delta.commitInfo.userMetadataSparkSession. Jeśli oba z nich zostały określone, opcja przyjmuje preferencję. Te metadane zdefiniowane przez użytkownika można odczytać w DESCRIBE HISTORY operacji. Zobacz Praca z historią tabel platformy Delta Lake.

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")