table_changes tablo değerli işlev

  • Makale

Şunun için geçerlidir:evet olarak işaretlendi Databricks SQL denetimi yes Databricks Runtime olarak işaretlendi

Değişiklik Veri Akışı etkinleştirilmiş bir Delta Lake tablosundaki değişikliklerin günlüğünü döndürür.

Bu işlevi çağırmak için aşağıdakilerden en az birine sahip olmanız gerekir:

  • SELECT belirtilen tabloda ayrıcalık
  • Tablonun sahibi olun
  • Yönetim ayrıcalıklarına sahip olmak

Sözdizimi

table_changes ( table_str, start [, end ] )

Bağımsız değişken

  • table_str: Tablonun isteğe bağlı olarak nitelenmiş adını temsil eden STRING değişmez değeri.
  • start: Döndürülecek değişikliğin ilk sürümünü veya zaman damgasını temsil eden BIGINT veya TIMESTAMP değişmez değeri.
  • end: Döndürülecek değişikliğin son sürümünü veya zaman damgasını temsil eden isteğe bağlı BIGINT veya TIMESTAMP değişmez değeri. Belirtilmezse, geçerli değişikliğe kadar olan tüm değişiklikler start döndürülür.

Döndürür

içinde tanımlanan table_strtablonun tüm sütunlarının yanı sıra aşağıdaki sütunları içeren bir tablo:

  • _change_type STRING NOT NULL

    Değişikliği belirtir: delete, insert, update_preimageveya update_postimage

  • _commit_version BIGINT NOT NULL

    Değişiklikle ilişkili tablonun işleme sürümünü belirtir.

  • _commit_timestamp TIMESTAMP NOT NULL

    Değişiklikle ilişkili işleme zaman damgasını belirtir.

Nitelenmiş bir tablo adını temsil etmiyorsa table_str , ad değeriyle nitelenmiş current_schemaolur. Tablo adı boşluk veya nokta içeriyorsa, adın bu bölümünden alıntı yapmak için dizenin içinde tırnak işaretleri kullanın.

Örnekler

-- Create a Delta table with Change Data Feed;
> CREATE TABLE myschema.t(c1 INT, c2 STRING) TBLPROPERTIES(delta.enableChangeDataFeed=true);

-- Modify the table
> INSERT INTO myschema.t VALUES (1, 'Hello'), (2, 'World');
> INSERT INTO myschema.t VALUES (3, '!');
> UPDATE myschema.t SET c2 = upper(c2) WHERE c1 < 3;
> DELETE FROM myschema.t WHERE c1 = 3;

-- Show the history of table change events
> DESCRIBE HISTORY myschema.t;
 version timestamp                    userId           userName      operation    operationParameters                                            ...
       4 2022-09-01T18:32:35.000+0000 6167625779053302 alf@melmak.et DELETE       {"predicate":"[\"(spark_catalog.myschema.t.c1 = 3)\"]"}
       3 2022-09-01T18:32:32.000+0000 6167625779053302 alf@melmak.et UPDATE       {"predicate":"(c1#3195878 < 3)"}
       2 2022-09-01T18:32:28.000+0000 6167625779053302 alf@melmak.et WRITE        {"mode":"Append","partitionBy":"[]"}
       1 2022-09-01T18:32:26.000+0000 6167625779053302 alf@melmak.et WRITE        {"mode":"Append","partitionBy":"[]"}
       0 2022-09-01T18:32:23.000+0000 6167625779053302 alf@melmak.et CREATE TABLE {"isManaged":"true","description":null,"partitionBy":"[]","properties":"{\"delta.enableChangeDataFeed\":\"true\"}"}

-- Show the change table feed using a the commit timestamp retrieved from the history.
> SELECT * FROM table_changes('`myschema`.`t`', 2);
 c1 c2     _change_type    _commit_version _commit_timestamp
  3 !      insert                        2 2022-09-01T18:32:28.000+0000
  2 WORLD  update_postimage              3 2022-09-01T18:32:32.000+0000
  2 World  update_preimage               3 2022-09-01T18:32:32.000+0000
  1 Hello  update_preimage               3 2022-09-01T18:32:32.000+0000
  1 HELLO  update_postimage              3 2022-09-01T18:32:32.000+0000
  3 !      delete                        4 2022-09-01T18:32:35.000+0000

-- Show the ame change table feed using a point in time.
> SELECT * FROM table_changes('`myschema`.`t`', '2022-09-01T18:32:27.000+0000') ORDER BY _commit_version;
 c1 c2     _change_type    _commit_version _commit_timestamp
  3 !      insert                        2 2022-09-01T18:32:28.000+0000
  2 WORLD  update_postimage              3 2022-09-01T18:32:32.000+0000
  2 World  update_preimage               3 2022-09-01T18:32:32.000+0000
  1 Hello  update_preimage               3 2022-09-01T18:32:32.000+0000
  1 HELLO  update_postimage              3 2022-09-01T18:32:32.000+0000
  3 !      delete                        4 2022-09-01T18:32:35.000+0000