Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Important
Bu özellik Beta sürümündedir. Bunu kullanmak için, bir çalışma alanı yöneticisinin Önizlemeler sayfasından Verimli Sütun Güncellemeleri'ni etkinleştirmesi gerekir. Bkz. Azure Databricks önizlemelerini yönetme.
Verimli Sütun Güncellemeleri (ECU), değişmeyen sütunları yeniden yazmadan Delta Lake tablosuna sütun eklemenizi ve bunları geriye dönük doldurmanızı sağlar. Bunu, mevcut veri kümelerindeki yeni özellikleri, embedding'leri ve diğer türetilmiş değerleri doldurmak için kullanın.
Bir sütun eklemek, mevcut verileri yeniden yazmadan tablo şemasını değiştirir. Bu sütunu değerlerle doldurmak, etkilenen satırları içeren veri dosyalarının, değişmemiş sütunlar da dahil olmak üzere, yeniden yazılmasını gerektirebilir. Verimli Sütun Güncellemeleri, güncellenmiş sütun değerlerini ayrı Parquet dosyalarına yazarak bu değişmemiş sütun yeniden yazmalarını önler.
Bu, büyük yükler veya gömmeler içeren bir tabloya az sayıda sütun eklediğinizde özellikle faydalıdır. Sorgular, mevcut verileri güncellenmiş sütun değerleriyle birleştirerek tek bir mantıksal tablo döndürmeye devam eder.
Aşağıdaki diyagram, bir sütun ekleme ve geri doldurma işlemlerini karşılaştırmaktadır. Gri bloklar mevcut sütun verilerini, yeşil bloklar yeni sütun verilerini, kırmızı hatlar ise yeniden yazılmış verileri temsil eder.
- C: ECU olmadan, geri doldurma orijinal veri dosyalarını (kesik çizgiler) hem değişmeyen sütunları hem de yeni sütunu içeren dosyalarla değiştirir.
- B: ECU ile orijinal dosyalar korunur ve yeni sütun değerleri ayrı dosyalara yazılır.
Requirements
- Verimli Sütun Güncellemeleri etkin olan bir tablodan okuma veya yazma için Databricks Runtime 19 veya üzeri kullanın.
- Katalog taahhütleri etkin olan Unity Kataloğu tarafından yönetilen bir Delta Lake tablosu kullanın.
- Tabloda satır izleme ve silme vektörlerini etkinleştirin.
-
idmodunda ('delta.columnMapping.mode' = 'id') sütun eşlemesi kullanın. Bu mod, tablo oluşturulurken ayarlanmalıdır. - Beta'yı çalışma alanı Önizlemeler sayfasından etkinleştirin.
Verimli Sütun Güncellemelerini Etkinleştirin
Bir tablo oluşturduğunuzda veya gereksinimleri karşılayan mevcut bir tabloda Verimli Sütun Güncellemelerini etkinleştirebilirsiniz. Etkinleştirmeden önce sınırlamaları gözden geçirin.
Verimli Sütun Güncellemeleri etkin olan bir tablo oluşturmak için, delta.enableColumnUpdates-preview tablo özelliğini gerekli özelliklerin özellikleriyle birlikte ayarlayın:
CREATE TABLE documents (
document_id BIGINT,
description STRING
)
TBLPROPERTIES (
'delta.feature.catalogManaged' = 'supported',
'delta.enableRowTracking' = 'true',
'delta.enableDeletionVectors' = 'true',
'delta.columnMapping.mode' = 'id',
'delta.enableColumnUpdates-preview' = 'true'
);
Zaten sütun eşlemesi modunda id modunu kullanan mevcut bir tablo için, katalog commit’leri, satır izleme ve silme vektörleri etkinleştirilmemişse etkinleştirin:
ALTER TABLE documents SET TBLPROPERTIES (
'delta.feature.catalogManaged' = 'supported',
'delta.enableRowTracking' = 'true',
'delta.enableDeletionVectors' = 'true'
);
Sonra Verimli Sütun Güncellemelerini etkinleştirin:
ALTER TABLE documents SET TBLPROPERTIES (
'delta.enableColumnUpdates-preview' = 'true'
);
Sorun yaşarsanız, standart güncellemelere geri dönebilirsiniz.
Bir sütun ekleyin ve geriye dönük doldurun
Aşağıdaki örnek, description sütunu ve documents dize sütunu olan mevcut bir document_id tablo kullanır. Her açıklamanın uzunluğunu içeren bir sütun ekler:
ALTER TABLE documents ADD COLUMN text_length INT;
UPDATE documents
SET text_length = LENGTH(description);
Sütun eklendikten sonra, mevcut satırlar text_length değerlerini doldurana kadar NULL içinde UPDATE içerir. Verimli Sütun Güncellemeleri, geri doldurmanın değişmeyen sütunları yeniden yazmadan yeni sütun değerlerini yazmasını sağlar.
Doldurulmuş değerleri incelemek için tabloyu sorgulayın:
SELECT document_id, description, text_length
FROM documents
LIMIT 10;
Verimli Sütun Güncellemeleri, geri doldurma sırasında yeniden yazılan verileri azaltır. Güncelleme yine giriş sütunlarını okur ve yeni değerleri hesaplar.
Verimli Sütun Güncellemelerini etkinleştirmek, her UPDATE bunun kullanılacağını garanti etmez. Bazı durumlarda, Azure Databricks etkilenen veri dosyalarını yeniden yazan standart bir güncellemeye geri döner. Güncelleme yine başarılı oluyor ve aynı sonuçları veriyor.
Standart güncellemelere geri dön
Verimli Sütun Güncellemeleri ile ilgili sorunlarla karşılaşırsanız, yeni sütun güncellemelerini devre dışı bırakın ve mevcut sütun dosyalarını birleştirin:
Yeni sütun dosyaları yazmayı durdurun:
ALTER TABLE documents SET TBLPROPERTIES ( 'delta.enableColumnUpdates-preview' = 'false' );Sütun dosyaları olan veri dosyalarını REORG TABLE kullanarak yeniden yazın:
REORG TABLE documents APPLY (PURGE);
REORG en son sütun değerlerini yeniden yazılmış veri dosyalarına yazar ve sütun dosyaları olmadan yeni bir tablo sürümü oluşturur. Güncellenen değerler korunur. Önceki tablo sürümleri hâlâ sütun dosyalarına referans verebilir.
Tablo özelliği tablo protokolünde etkin kalmaya devam eder, bu yüzden okuma ve yazma işlemleri hâlâ Databricks Runtime 19 veya üzerini gerektirir.
Limitations
- Efficient Column Updates, yazma zamanı değişiklik veri akışı (CDF) ile uyumsuzdur. Eski değişiklik veri akışına bakın.
- Verimli Sütun Güncellemeleri, Evrensel Format (UniForm) ile uyumsuzdur.
- Apache Iceberg tarafından yönetilen tablolar desteklenmemektedir.
-
MERGEişlemleri Verimli Sütun Güncellemelerini kullanmaz. -
DROP FEATUREile Verimli Sütun Güncellemelerinin kaldırılması desteklenmez. Databricks, kritik tablolarda etkinleştirmenizi önerir. Sütun güncellemelerini kullanmayı durdurmak için Standart güncellemelere geri dön bölümüne bakın. - Göl akışı boru hatları desteklenmemektedir.