İşlem Hattı Sınırlamaları

İşlem hatlarınızı geliştirirken bilmeniz gereken Önemli Olan Lakeflow Spark Bildirimli İşlem Hatlarıyla ilgili sınırlamalar şunlardır:

• Azure Databricks çalışma alanı 200 eşzamanlı işlem hattı güncelleştirmesi ile sınırlıdır. Tek bir işlem hattının içerebileceği veri kümesi sayısı, işlem hattı yapılandırması ve iş yükü karmaşıklığı tarafından belirlenir.
• Boru hattı veri kümeleri yalnızca bir kez tanımlanabilir. Bu nedenle, tüm işlem hatlarında yalnızca tek bir işlemin hedefi olabilirler. Bunun istisnası, birden çok akış kaynağından akış tablosuna yazmanızı sağlayan ekleme akışı işlemeye sahip akış tablolarıdır. Bkz. Tek bir hedefe yazmak için birden çok akış kullanma.
• Kimlik sütunları aşağıdaki sınırlamalara sahiptir. Delta tablolarındaki kimlik sütunları hakkında daha fazla bilgi edinmek için bkz. Delta Lake'te kimlik sütunlarını kullanma.
  • Kimlik sütunları AUTO CDC işlemenin hedefi olan tablolarda desteklenmez.
  • Gerçekleştirilmiş görünümlerde yapılan güncelleştirmeler sırasında kimlik sütunları yeniden hesaplanabilir. Bu nedenle Databricks, işlem hatlarında yalnızca akış tablolarında kimlik sütunlarının kullanılmasını önerir.
• Databricks SQL tarafından oluşturulanlar da dahil olmak üzere işlem hatlarından yayımlanan gerçekleştirilmiş görünümlere ve akış tablolarına yalnızca Azure Databricks istemcileri ve uygulamaları tarafından erişilebilir. Ancak, materyalize edilmiş görünümlerinizin ve akış tablolarınızın dışarıdan erişilebilir olmasını sağlamak için sink API'sini kullanarak harici bir Delta örneğindeki tablolara yazabilirsiniz. Bkz. Lakeflow Spark Bildirimli İşlem Hatlarında Havuzlar.
• Unity Kataloğu işlem hatlarını çalıştırmak ve sorgulamak için gereken Databricks işlemiyle ilgili sınırlamalar vardır. Bkz . Unity Kataloğu'na yayımlayan işlem hatları için gereksinimler.
• Delta Lake zaman yolculuğu sorguları yalnızca Akış tablolarında desteklenir ve maddi görünümlerle desteklenmez. Bkz Delta Lake tablo geçmişiyle çalışma.
• Gerçekleştirilmiş görünümlerde ve akış tablolarında Iceberg okumalarını etkinleştiremezsiniz.
• pivot() işlevi desteklenmez. Spark'taki pivot işlemi, çıkış şemasını hesaplamak için giriş verilerinin hevesle yüklenmesini gerektirir. Bu özellik işlem hatlarında desteklenmez.