Tablo geçmişiyle çalışma

Apache Iceberg ve Delta Lake tablolarında, tabloyu değiştiren her işlem yeni bir tablo sürümü oluşturur. Zaman yolculuğu kullanarak işlemleri denetlemek, bir tabloyu geri almak veya belirli bir zamanda tabloyu sorgulamak için geçmiş bilgilerini kullanın.

Uyarı

Databricks, veri arşivleme için uzun vadeli bir yedekleme çözümü olarak tablo geçmişinin kullanılmasını önermez. Hem veri hem de günlük saklama yapılandırmalarını daha büyük bir değere ayarlamadıysanız, zaman yolculuğu işlemleri için yalnızca son 7 günü kullanın.

Tablo geçmişini alma

Bir tabloya DESCRIBE HISTORY yapılan her yazma işlemine ilişkin işlemler, kullanıcı ve zaman damgası gibi bilgileri almak için komutunu çalıştırın. İşlemler ters kronolojik sırayla döndürülür.

Tablo geçmişi saklama, varsayılan olarak 30 gün olan tablo ayarı logRetentionDurationtarafından belirlenir.

Uyarı

Zamanda yolculuk ve tablo geçmişi, farklı saklama eşikleri ile kontrol edilir. Bkz . Zaman yolculuğu.

DESCRIBE HISTORY table_name       -- get the full history of the table

DESCRIBE HISTORY table_name LIMIT 1  -- get the last operation only

Spark SQL söz dizimi ayrıntıları için bkz. DESCRIBE HISTORY.

Scala, Java ve Python söz dizimi ayrıntıları için Delta Lake API belgelerine bakın.

Katalog Gezgini , geçmiş sekmesinde tablo geçmişini görsel olarak gösterir.

Geçmiş şeması

İşlemin çıktısı history aşağıdaki sütunlara sahiptir.

Column	Type	Description
version	`long`	İşlem tarafından oluşturulan tablo sürümü.
timestamp	`timestamp`	Bu sürüm depolandığında.
userId	`string`	İşlemi çalıştıran kullanıcının kimliği.
userName	`string`	İşlemi çalıştıran kullanıcının adı.
Operasyon	`string`	Operasyonun adı.
işlemParametreleri	`map`	İşlemin parametreleri (örneğin, koşul).)
iş	`struct`	İşlemi çalıştıran Lakeflow işinin ayrıntıları. Yalnızca Lakeflow işinden yazılan işlemeler için doldurulur. Tersi durumda `null`.
notebook	`struct`	İşlemin çalıştırıldığı Databricks not defterinin ayrıntıları. Yalnızca Databricks not defterinde oluşturulan commit’ler için doldurulur. Tersi durumda `null`.
clusterId	`string`	İşlemin üzerinde çalıştırıldığı kümenin kimliği.
sürümüOku	`long`	Yazma işlemini gerçekleştirmek için okunan tablonun sürümü.
isolationLevel	`string`	Bu işlem için kullanılan yalıtım düzeyi.
isBlindAppend	`boolean`	Bu işlemin verileri ekleyip eklemediği.
Operasyon Metrikleri	`map`	İşlemin ölçümleri (örneğin, değiştirilen satır ve dosya sayısı.)
userMetadata	`string`	Belirtilmişse, kullanıcı tanımlı kayıt meta verileri.

+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+
|version|          timestamp|userId|userName|operation| operationParameters| job|notebook|clusterId|readVersion|   isolationLevel|isBlindAppend|    operationMetrics|
+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+
|      5|2019-07-29 14:07:47|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          4|WriteSerializable|        false|[numTotalRows -> ...|
|      4|2019-07-29 14:07:41|   ###|     ###|   UPDATE|[predicate -> (id...|null|     ###|      ###|          3|WriteSerializable|        false|[numTotalRows -> ...|
|      3|2019-07-29 14:07:29|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          2|WriteSerializable|        false|[numTotalRows -> ...|
|      2|2019-07-29 14:06:56|   ###|     ###|   UPDATE|[predicate -> (id...|null|     ###|      ###|          1|WriteSerializable|        false|[numTotalRows -> ...|
|      1|2019-07-29 14:04:31|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          0|WriteSerializable|        false|[numTotalRows -> ...|
|      0|2019-07-29 14:01:40|   ###|     ###|    WRITE|[mode -> ErrorIfE...|null|     ###|      ###|       null|WriteSerializable|         true|[numFiles -> 2, n...|
+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+

Uyarı

Bir tabloya aşağıdaki yöntemlerden birini kullanarak yazarsanız bazı sütunlar kullanılamaz:
Gelecekte eklenen sütunlar her zaman son sütundan sonra eklenir.

İşlem parametrelerini anlama `partitionBy`

partitionBy Tablo geçmişindeki alan yalnızca bir tablonun bölüm şemasını tanımlayan veya değiştiren CREATE ve OVERWRITE işlemleri için anlamlıdır.

Var olan tablolara ekleme işlemleri (APPEND, INSERT, , UPDATEDELETE, MERGE) için bu alan, kullanılan yazma yöntemine ([]vs.save()) bağlı olarak boş bir dizi .saveAsTable() veya bölüm sütunları gösterebilir.

Bu tutarsızlık beklenen bir davranıştır ve verilerin bölümlere nasıl yazıldıklarını etkilemez. Ekleme işlemlerini doğrulamak için bunu kullanmamalısınız.

Example

date sütununa göre bölümlendirilmiş bir tablo düşünün. Tabloyu oluşturduğunuzda, partitionBy doldurulur:

df.write.format("delta") \
  .partitionBy("date") \
  .saveAsTable("sales_data")

Geçmişe yönelik CREATE işlemi şunları gösterir:

operationParameters: {
  "mode": "ErrorIfExists",
  "partitionBy": "[\"date\"]"
}

Bu tabloya veri eklediğinizde boş partitionBy bir dizi gösterilir:

new_df.write.format("delta") \
  .mode("append") \
  .saveAsTable("sales_data")

APPEND işlemi şunları gösterir:

operationParameters: {
  "mode": "Append",
  "partitionBy": "[]"
}

Boş partitionBy değer beklenir. Veriler yine de tablonun mevcut bölüm şemasına göre doğru bölümlere yazılır. .save() bir yola yönelik olduğunda, bu alanda bölümlendirme sütunları görüntülenebilir; ancak bu fark uygulamaya ilişkin bir ayrıntıdır ve yazma davranışını etkilemez.

İşlem ölçümleri

İşlem, history sütun haritasında operationMetrics işlem metrikleri koleksiyonu döndürür.

Aşağıdaki tablolarda harita anahtarı tanımları işleme göre listelenmektedir.