Azure Databricks'te düşük shuffle birleştirme

Dikkat

Databricks Runtime 10.4 LTS ve üzeri sürümlerde düşük karıştırma birleştirmesi Genel Kullanılabilir (GA) olup, Databricks Runtime 9.1 LTS'de Genel Önizleme'dedir. Databricks, Önizleme müşterilerinin Databricks Runtime 10.4 LTS veya üzerine geçişini önerir.

MERGE komutu, Delta Lake tablosundan eşzamanlı güncelleştirmeler, eklemeler ve silme işlemleri gerçekleştirmek için kullanılır. Azure Databricks, karıştırma işlemlerinin sayısını azaltarak yaygın iş yükleri için performansı önemli ölçüde artıran iyileştirilmiş bir MERGE uygulamasına sahiptir.

Databricks düşük karıştırmalı birleştirme, değiştirilmemiş satırları değiştirilen satırlarla birlikte işlemek yerine ayrı ve daha kolay bir işleme modunda işleyerek daha iyi performans sağlar. Sonuç olarak karıştırılan veri miktarı önemli ölçüde azaltılır ve performansın artmasına yol açar. Düşük karıştırmalı birleştirme, bir OPTIMIZE işlem gerçekleştirildikten sonra kullanıcıların MERGE işlemi yeniden çalıştırma gereksinimini de azaltır.

İyileştirilmiş performans

Birçok MERGE iş yükü, bir tablodaki yalnızca nispeten az sayıda satırı güncelleştirir. Ancak Delta tabloları yalnızca dosya başına güncelleştirilir. MERGE komutunun belirli bir dosyada depolanan az sayıda satırı güncelleştirmesi veya silmesi gerektiğinde, bu satırlar değiştirilmemiş olsa bile aynı dosyada depolanan kalan tüm satırları da işlemeli ve yeniden yazmalıdır. Düşük shuffle birleştirme, değiştirilmemiş satırların işlenmesini optimize eder. Daha önce, değiştirilen satırlarla aynı şekilde işleniyordu ve bunlar birden çok karıştırma aşamasından ve pahalı hesaplamalardan geçirildi. Düşük karıştırmalı birleştirmede, değiştirilmemiş satırlar bunun yerine karıştırma, pahalı işleme veya başka ek yük olmadan işlenir.

İyileştirilmiş veri düzeni

Düşük seviyeli karıştırma birleştirme işlemi daha hızlı çalışır ve sonraki işlemler için avantajlar sağlar. Önceki MERGE uygulama, değiştirilmemiş verilerin veri düzenini tamamen değiştirerek sonraki işlemlerde performansı düşürdü. Düşük karıştırmalı birleştirme, sıvı kümeleme düzeni de dahil olmak üzere, değiştirilmemiş kayıtların mevcut veri düzenini en iyi çaba temelinde korur ve bir veya daha fazla MERGE komut çalıştırıldıktan sonra performans daha yavaş bir şekilde düşer.

Dikkat

Düşük karıştırmalı birleştirme, değiştirilmeyen mevcut verilerde veri düzenini korumaya çalışır. Güncelleştirilmiş veya yeni eklenen verilerin veri düzeni en iyi durumda olmayabilir, bu nedenle sıvı kümelemesi etkinleştirilmiş tablolarda çalışmaya OPTIMIZE devam etmek gerekebilir.

Kullanılabilirlik

Databricks Runtime 10.4 ve üzerinde düşük karıştırma birleşimi varsayılan olarak etkin durumda. Önceki desteklenen Databricks Runtime sürümlerinde yapılandırma spark.databricks.delta.merge.enableLowShuffletrueolarak ayarlanarak etkinleştirilebilir. Bu bayrağın Databricks Runtime 10.4 ve üzerinde hiçbir etkisi yoktur.

Eski Z sıralama

Z sıralama kullanan tablolarda, düşük karıştırmalı birleştirme, değiştirilmemiş verilerde mevcut Z düzeni düzenini en iyi çaba temelinde korumaya da çalışır. Güncellenmiş veya yeni eklenmiş verilerin veri düzeni optimal durumda olmayabilir; bu nedenle, bir OPTIMIZE işleminden sonra ORDER BY'yi çalıştırmak gerekebilir. Databricks, tüm yeni tablolar için sıvı kümeleme kullanılmasını önerir.