İşlem hattı sınırlamaları

İşlem hatlarınızı geliştirirken bilmeniz gereken Lakeflow işlem hatlarının sınırlamaları aşağıdadır:

• Azure Databricks çalışma alanı 1000 eşzamanlı işlem hattı güncelleştirmesi ile sınırlıdır. Tek bir işlem hattının içerebileceği veri kümesi sayısı, işlem hattı yapılandırması ve iş yükü karmaşıklığı tarafından belirlenir.

• İşlem hattının yapılandırması, kaynak dosya ve klasörlere başvurular içerir.

  • Yapılandırma yalnızca tek tek not defterlerine veya dosyalara başvuruda bulunursa işlem hattı başına sınır 100 kaynak dosyadır.

  • Yapılandırma klasörleri içeriyorsa, dosya veya klasörlerden oluşan en fazla 50 kaynak girdisi ekleyebilirsiniz.

    Klasöre başvurmak, bu klasördeki dosyalara dolaylı olarak başvurur. Bu durumda, başvuruda bulunan dosya sayısı sınırı (doğrudan veya dolaylı olarak) 1000'dir.

  100'den fazla kaynak dosyaya ihtiyacınız varsa bunları klasörler halinde düzenleyin. Klasörleri kaynak dosyaları içerecek şekilde kullanmayı öğrenmek için Bkz. Lakeflow işlem hattı düzenleyicisinde işlem hattı varlık tarayıcısı .

• Boru hattı veri kümeleri yalnızca bir kez tanımlanabilir. Bu nedenle, tüm işlem hatlarında yalnızca tek bir işlemin hedefi olabilirler. Bunun istisnası, birden çok akış kaynağından akış tablosuna yazmanızı sağlayan ekleme akışı işlemeye sahip akış tablolarıdır. Bkz. Varsayılan akışlar ve ekleme akışları.

• Kimlik sütunları aşağıdaki sınırlamalara sahiptir. Delta tablolarındaki kimlik sütunları hakkında daha fazla bilgi edinmek için bkz. Kimlik sütunları.

  • Kimlik sütunları AUTO CDC işlemenin hedefi olan tablolarda desteklenmez.
  • Gerçekleştirilmiş görünümlerde yapılan güncelleştirmeler sırasında kimlik sütunları yeniden hesaplanabilir. Bu nedenle Databricks, işlem hatlarında yalnızca akış tablolarında kimlik sütunlarının kullanılmasını önerir.

• Varsayılan olarak, gerçekleştirilmiş görünümlere ve akış tablolarına yalnızca Azure Databricks istemciler ve uygulamalar tarafından erişilebilir. Bunları dış sistemler için erişilebilir hale getirmek için bkz. Dış sistemleri kullanarak gerçekleştirilmiş görünümlere ve akış tablolarına erişme.

• Unity Kataloğu işlem hatlarını çalıştırmak ve sorgulamak için gereken Databricks işlemiyle ilgili sınırlamalar vardır. Bkz . Unity Kataloğu'na yayımlayan işlem hatları için gereksinimler.

• Delta Lake zaman yolculuğu sorguları yalnızca akış tablolarında desteklenir ve materialize edilmiş görünümlerle desteklenmez. Bkz. Tablo geçmişiyle çalışma.

• pivot() işlevi desteklenmez. Spark'taki pivot işlemi, çıkış şemasını hesaplamak için giriş verilerinin hevesle yüklenmesini gerektirir. Bu özellik işlem hatlarında desteklenmez.

Lakeflow işlem hatları kaynak kotaları için bkz. Kaynak sınırları.