İşlem Hattı Sınırlamaları

İşlem hatlarınızı geliştirirken bilmeniz gereken Önemli Olan Lakeflow Spark Bildirimli İşlem Hatlarıyla ilgili sınırlamalar şunlardır:

• Azure Databricks çalışma alanı 1000 eşzamanlı işlem hattı güncelleştirmesi ile sınırlıdır. Tek bir işlem hattının içerebileceği veri kümesi sayısı, işlem hattı yapılandırması ve iş yükü karmaşıklığı tarafından belirlenir.

• İşlem hattının yapılandırması, kaynak dosya ve klasörlere başvurular içerir.

  • Yapılandırma yalnızca tek tek not defterlerine veya dosyalara başvuruda bulunursa işlem hattı başına sınır 100 kaynak dosyadır.

  • Yapılandırma klasörleri içeriyorsa, dosya veya klasörlerden oluşan en fazla 50 kaynak girdisi ekleyebilirsiniz.

    Klasöre başvurmak, bu klasördeki dosyalara dolaylı olarak başvurur. Bu durumda, başvuruda bulunan dosya sayısı sınırı (doğrudan veya dolaylı olarak) 1000'dir.

  100'den fazla kaynak dosyaya ihtiyacınız varsa bunları klasörler halinde düzenleyin. Klasörleri kaynak dosyaları içerecek şekilde kullanmayı öğrenmek için Bkz. Lakeflow işlem hattı düzenleyicisinde İşlem hattı varlıkları tarayıcısı .

• Boru hattı veri kümeleri yalnızca bir kez tanımlanabilir. Bu nedenle, tüm işlem hatlarında yalnızca tek bir işlemin hedefi olabilirler. Bunun istisnası, birden çok akış kaynağından akış tablosuna yazmanızı sağlayan ekleme akışı işlemeye sahip akış tablolarıdır. Bkz. Tek bir hedefe yazmak için birden çok akış kullanma.

• Kimlik sütunları aşağıdaki sınırlamalara sahiptir. Delta tablolarındaki kimlik sütunları hakkında daha fazla bilgi edinmek için bkz. Delta Lake'te kimlik sütunlarını kullanma.

  • Kimlik sütunları AUTO CDC işlemenin hedefi olan tablolarda desteklenmez.
  • Gerçekleştirilmiş görünümlerde yapılan güncelleştirmeler sırasında kimlik sütunları yeniden hesaplanabilir. Bu nedenle Databricks, işlem hatlarında yalnızca akış tablolarında kimlik sütunlarının kullanılmasını önerir.

• Databricks SQL tarafından oluşturulanlar da dahil olmak üzere işlem hatlarından yayımlanan gerçekleştirilmiş görünümlere ve akış tablolarına yalnızca Azure Databricks istemcileri ve uygulamaları tarafından erişilebilir. Ancak, materyalize edilmiş görünümlerinizin ve akış tablolarınızın dışarıdan erişilebilir olmasını sağlamak için sink API'sini kullanarak harici bir Delta örneğindeki tablolara yazabilirsiniz. Bkz. Lakeflow Spark Bildirimli İşlem Hatlarında Havuzlar.

• Unity Kataloğu işlem hatlarını çalıştırmak ve sorgulamak için gereken Databricks işlemiyle ilgili sınırlamalar vardır. Bkz . Unity Kataloğu'na yayımlayan işlem hatları için gereksinimler.

• Delta Lake zaman yolculuğu sorguları yalnızca akış tablolarında desteklenir ve materialize edilmiş görünümlerle desteklenmez. Bkz. Tablo geçmişiyle çalışma.

• Gerçekleştirilmiş görünümlerde ve akış tablolarında Iceberg okumalarını etkinleştiremezsiniz.

• pivot() işlevi desteklenmez. Spark'taki pivot işlemi, çıkış şemasını hesaplamak için giriş verilerinin hevesle yüklenmesini gerektirir. Bu özellik işlem hatlarında desteklenmez.

Lakeflow Spark Bildirimli İşlem Hatları kaynak kotaları için bkz. Kaynak sınırları.