Tahmine dayalı G/Ç nedir?

Predictive I/O, verileri okuma ve güncellemeyi hızlandıran Azure Databricks optimizasyonlarının bir koleksiyonudur:

  • Hızlandırılmış okumalar, aksi takdirde döndürdüklerinden çok daha fazla veriyi tarayacak seçici sorguları hızlandırır.
  • Hızlandırılmış güncellemeler, bir güncelleme, silme veya birleştirme bir dosyada yalnızca birkaç satırı değiştirdiğinde yeniden yazılan veri miktarını azaltır.

Tahmine dayalı G/Ç, Azure Databricks'te Photon motoruna özeldir. Bkz . Photon nedir?.

Öngörücü I/O uygulandığında

Tahmine dayalı G/Ç otomatik olarak çalışır. Tek tek sorgular için açılmaz. Yararlanmak için:

Öngörücü I/O ayrıca Bloom filtre indekslerinin yerini alır. Bkz . Bloom filtre dizinleri (kullanım dışı).

Okumaları hızlandırmak için tahmine dayalı G/Ç kullanma

Tahmine dayalı G/Ç, desteklenen işlem türlerinde tüm işlemler için veri tarama ve filtreleme performansını hızlandırmak için kullanılır.

Önemli

Tahmine dayalı G/Ç okumaları sunucusuz ve profesyonel SQL ambarları türleri ve Databricks Runtime 11.3 LTS ve üzerini çalıştıran Foton hızlandırılmış kümeler tarafından desteklenir.

Öngörücü I/O, tarama performansını şu amaçlarla iyileştirir:

  • Veriyi okumak için en verimli erişim modelini belirleyin ve yalnızca gerçekten gerekli olan verileri tarayın.
  • Sorgu sonuçları oluşturmak için gerekli olmayan sütun ve satırların kodunu çözmeyi kaldırın.
  • Bir satırla eşleşen seçmeli sorgulardaki arama ölçütlerinin olasılıklarını hesaplayın. Sorgular çalışırken, Predictive I/O bu olasılıkları kullanarak bir sonraki eşleşen satırın nerede bulunduğunu tahmin eder ve yalnızca o verileri bulut depolamadan okur.

Güncelleştirmeleri hızlandırmak için tahmine dayalı G/Ç kullanma

Güncellemeler için Predictive I/O, bu Photon destekli hesaplama türlerinde silme vektörleri etkinleştirilmiş tüm tablolar için otomatik olarak kullanılır:

  • Sunucusuz SQL ambarları.
  • Pro SQL ambarları.
  • Databricks Runtime 14.0 ve üzerini çalıştıran kümeler.

Not

Güncelleştirmeler için tahmine dayalı G/Ç desteği Databricks Runtime 12.2 LTS ve üzeri sürümlerde mevcuttur, ancak Databricks en iyi performans için 14.0 ve üzerini kullanmanızı önerir.

Bkz . Databricks'te silme vektörleri.

Önemli

Bir çalışma alanı yöneticisi ayarı, yeni Delta Lake tabloları için silme vektörlerinin otomatik olarak etkinleştirilip etkinleştirilmediğini kontrol eder. Bkz. Silme vektörlerini otomatik olarak etkinleştirme.

Delta Lake tablosu özelliğini ayarlayarak Delta Lake tablosunda silme vektörleri desteğini etkinleştirebilirsiniz. Tablo oluştururken silme vektörlerini etkinleştirirsiniz veya mevcut bir tabloyu değiştirirsiniz, örneğin:

CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Uyarı

Silme vektörlerini etkinleştirdiğinizde, tablo protokolü sürümü yükseltilir. Yükseltmeden sonra, silme vektörlerini desteklemeyen Delta Lake istemcileri tarafından tablo okunamaz. Bkz . Delta Lake özellik uyumluluğu ve protokolleri.

Silme vektörlerini destekleyen istemcilerin listesi için bkz. İstemci uyumluluğu.

Databricks Runtime 14.1 ve üzeri sürümlerin silme vektörleri tablosu özelliğini bırakarak diğer Delta istemcileriyle uyumluluğu etkinleştirebilirsiniz. Bkz . Delta Lake tablosu özelliğini bırakma ve tablo protokolünü düşürme.

Predictive I/O, Delta Lake tablolarında veri değişikliği sırasında tam dosya yeniden yazma sıklığını azaltarak güncellemeleri hızlandırmak için silme vektörlerini kullanır. Tahmine dayalı G/Ç, DELETE, MERGE ve UPDATE işlemlerini iyileştirir.

Herhangi bir kayıt güncelleştirildiğinde veya silindiğinde veri dosyasındaki tüm kayıtları yeniden yazmak yerine tahmine dayalı G/Ç, kayıtların hedef veri dosyalarından kaldırıldığını belirtmek için silme vektörlerini kullanır. Ek veri dosyaları güncelleştirmeleri göstermek için kullanılır.

Tablodaki sonraki okumalar, en son tablo sürümüne not edilen değişiklikleri uygulayarak geçerli tablo durumunu çözer.

Önemli

Tahmine dayalı G/Ç güncellemeleri, tüm sınırlamaları silme vektörleriyle paylaşır. Databricks Runtime 12.2 LTS ve üzerinde, şu sınırlamalar geçerlidir:

  • Silme vektörlerinin etkinleştirildiği tablolarda OpenSharing desteklenmez.
  • Silme vektörlerinin bulunduğu bir tablo için bildirim dosyası oluşturamazsınız. REORG TABLE ... APPLY (PURGE) çalıştırın ve bildirim oluşturmak için hiçbir eşzamanlı yazma işleminin çalışmadığından emin olun.
  • Silme vektörleri etkin bir tablo için artımlı bildirim dosyaları oluşturamazsınız.
  • Son güncelleştirme: