Delta Lake-táblák bővítése egyéni metaadatokkal

A Databricks azt javasolja, hogy mindig fűzz megjegyzéseket a táblákhoz és a táblák oszlopaihoz. Ezeket a megjegyzéseket AI használatával hozhatja létre. Lásd: AI által létrehozott megjegyzések hozzáadása egy táblához.

A Unity Catalog emellett lehetővé teszi az adatok címkézését is. Lásd: Címkék alkalmazása a Unity Catalog biztonságos objektumaira.

Az egyes véglegesítések üzeneteit a Delta Lake tranzakciónaplójának egyik mezőjében lévő táblákba is naplózhatja.

Felhasználó által definiált véglegesítési metaadatok beállítása

A felhasználó által definiált sztringeket metaadatként is megadhatja a véglegesítésekben, a DataFrameWriter vagy userMetadata a SparkSession konfiguráció spark.databricks.delta.commitInfo.userMetadatahasználatával. Ha mindkettő meg van adva, akkor a beállítás előnyben részesíti. Ez a felhasználó által definiált metaadatok olvashatók a DESCRIBE HISTORY műveletben. Lásd: A Delta Lake-táblaelőzmények működése.

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwritten-for-fixing-incorrect-data
INSERT OVERWRITE default.people10m SELECT * FROM morePeople

Python

df.write.format("delta") \
  .mode("overwrite") \
  .option("userMetadata", "overwritten-for-fixing-incorrect-data") \
  .save("/tmp/delta/people10m")

Scala

df.write.format("delta")
  .mode("overwrite")
  .option("userMetadata", "overwritten-for-fixing-incorrect-data")
  .save("/tmp/delta/people10m")