Delta Live Tables özellikleri başvurusu

Bu makale, Azure Databricks'teki Delta Live Tables JSON ayarı belirtimi ve tablo özellikleri için bir başvuru sağlar. Bu çeşitli özellikleri ve yapılandırmaları kullanma hakkında daha fazla ayrıntı için aşağıdaki makalelere bakın:

• Delta Live Tables için işlem hattı ayarlarını yapılandırma
• Delta Live Tables API kılavuzu

Delta Live Tables işlem hattı yapılandırmaları

Alanlar
id Tür: string Bu işlem hattı için genel olarak benzersiz bir tanımlayıcı. Tanımlayıcı sistem tarafından atanır ve değiştirilemez.
name Tür: string Bu işlem hattı için kullanıcı dostu bir ad. Ad, kullanıcı arabirimindeki işlem hattı işlerini tanımlamak için kullanılabilir.
storage Tür: string DBFS veya bulut depolamada işlem hattı yürütmesi için gereken çıktı verilerinin ve meta verilerin depolandığı bir konum. Tablolar ve meta veriler bu konumun alt dizinlerinde depolanır. storage Ayar belirtilmediğinde, sistem içinde varsayılan olarak bir konuma dbfs:/pipelines/ayarlanır. İşlem storage hattı oluşturulduktan sonra ayar değiştirilemez.
configuration Tür: object İşlem hattını çalıştıracak kümenin Spark yapılandırmasına eklenecek isteğe bağlı ayarlar listesi. Bu ayarlar Delta Live Tables çalışma zamanı tarafından okunur ve Spark yapılandırması aracılığıyla işlem hattı sorguları için kullanılabilir. Öğeler çift olarak key:value biçimlendirilmelidir.
libraries Tür: array of objects İşlem hattı kodunu ve gerekli yapıtları içeren bir not defteri dizisi.
clusters Tür: array of objects kümelerinin işlem hattını çalıştırması için bir belirtim dizisi. Bu belirtilmezse, işlem hatları işlem hattı için otomatik olarak bir varsayılan küme yapılandırması seçer.
development Tür: boolean İşlem hattının içinde çalıştırılıp çalıştırılmayacağını gösteren bayrak development veya production modunu seçin. Varsayılan değer: true
notifications Tür: array of objects İşlem hattı güncelleştirmesi tamamlandığında, yeniden denenebilir bir hatayla başarısız olduğunda, yeniden denenemeyen bir hatayla başarısız olduğunda veya bir akış başarısız olduğunda e-posta bildirimleri için isteğe bağlı bir belirtim dizisi.
continuous Tür: boolean İşlem hattının sürekli çalıştırılıp çalıştırılmayacağını gösteren bir bayrak. Varsayılan değer şudur: false.
target Tür: string İşlem hattı çıkış verilerini kalıcı hale gelen veritabanının adı. Ayarı yapılandırmak target , Azure Databricks kullanıcı arabiriminden işlem hattı çıkış verilerini görüntülemenize ve sorgulamanıza olanak tanır.
channel Tür: string Kullanılacak Delta Live Tables çalışma zamanının sürümü. Desteklenen değerler şunlardır: * preview çalışma zamanı sürümünde yapılacak değişikliklerle işlem hattınızı test edin. * current geçerli çalışma zamanı sürümünü kullanmak için. channel alanı isteğe bağlıdır. Varsayılan değer şudur: current. Databricks, üretim iş yükleri için geçerli çalışma zamanı sürümünün kullanılmasını önerir.
edition string yazın İşlem hattını çalıştırmak için Delta Live Tables ürün sürümü. Bu ayar, işlem hattınızın gereksinimlerine göre en iyi ürün sürümünü seçmenize olanak tanır: * CORE akış alma iş yüklerini çalıştırmak için. * PRO akış alma işlemini çalıştırmak ve veri yakalama (CDC) iş yüklerini değiştirmek için. * ADVANCED veri kalitesi kısıtlamaları uygulamak için Delta Live Tables beklentilerini gerektiren akış alma iş yüklerini, CDC iş yüklerini ve iş yüklerini çalıştırmak için. edition alanı isteğe bağlıdır. Varsayılan değer şudur: ADVANCED.
photon Tür: boolean İşlem hattını çalıştırmak için Photon nedir? seçeneğinin kullanılıp kullanılmayacağını belirten bir bayrak. Photon, Azure Databricks yüksek performanslı Spark altyapısıdır. Foton özellikli işlem hatları, Photon olmayan işlem hatlarından farklı bir ücretle faturalandırılır. photon alanı isteğe bağlıdır. Varsayılan değer şudur: false.
pipelines.maxFlowRetryAttempts Tür: int Yeniden denenebilir bir hata oluştuğunda işlem hattı güncelleştirmesinde başarısız olmadan önce bir akışı yeniden deneme girişimi sayısı üst sınırı. Varsayılan değer ikidir. Varsayılan olarak, yeniden denenebilir bir hata oluştuğunda Delta Live Tables çalışma zamanı akışı özgün deneme dahil olmak üzere üç kez çalıştırmayı dener.
pipelines.numUpdateRetryAttempts Tür: int Yeniden denenebilir bir hata oluştuğunda güncelleştirmeyi başarısız olmadan önce yeniden deneme denemesi sayısı üst sınırı. Yeniden deneme tam güncelleştirme olarak çalıştırılır. Varsayılan değer beştir. Bu parametre yalnızca üretim modunda çalıştırılacak tetiklenen güncelleştirmeler için geçerlidir. İşlem hattınız geliştirme modunda çalıştırıldığında yeniden deneme yoktur.

Delta Live Tables tablo özellikleri

Delta Lake tarafından desteklenen tablo özelliklerine ek olarak, aşağıdaki tablo özelliklerini ayarlayabilirsiniz.

Tablo özellikleri
pipelines.autoOptimize.managed Varsayılan: true Bu tablonun otomatik olarak zamanlanmış iyileştirmesini etkinleştirir veya devre dışı bırakır.
pipelines.autoOptimize.zOrderCols Varsayılan: Yok Bu tabloyu sıralamak için virgülle ayrılmış sütun adlarının listesini içeren isteğe bağlı bir dize. Örneğin pipelines.autoOptimize.zOrderCols = "year,month"
pipelines.reset.allowed Varsayılan: true Bu tablo için tam yenilemeye izin verilip verilmeyeceğini denetler.

CDC tablo özellikleri

not:: Kaldırılmış öğe yönetim davranışını denetlemek için bu özellikler kullanım dışıdır ve işlem hattı ayarlarıyla değiştirilir. Mevcut veya yeni işlem hatları yeni işlem hattı ayarlarını kullanmalıdır. Bkz . SCD tür 1 sorguları için denetim kaldırıldı işareti yönetimi.

CDC kullanılırken olaylar için mezar taşı yönetiminin davranışını denetlemek için DELETE aşağıdaki tablo özellikleri eklenir:

Tablo özellikleri
pipelines.cdc.tombstoneGCThresholdInSeconds Varsayılan: 5 dakika Bu değeri, sıra dışı veriler arasında beklenen en yüksek aralıkla eşleşecek şekilde ayarlayın.
pipelines.cdc.tombstoneGCFrequencyInSeconds Varsayılan: 60 saniye Temizleme için hangi sıklıkta kaldırıldı taşlarının denetleniyor olduğunu denetler.

Bkz . DEĞIŞIKLIKLERI UYGULAMA API'si: Delta Live Tablolarında değişiklik verilerini yakalamayı basitleştirme.

İşlem hatları tetikleyici aralığı

Delta Live Tables işlem hattının tamamı için veya veri kümesi bildiriminin bir parçası olarak işlem hattı tetikleyici aralığı belirtebilirsiniz. Bkz. İşlem hatları tetikleyici aralığı.

pipelines.trigger.interval

Varsayılan değer akış türünü temel alır: * Akış sorguları için beş saniye. * Tüm giriş verileri Delta kaynaklarından geldiğinde tam sorgular için bir dakika. * Bazı veri kaynaklarının Delta dışı olabileceği sorgular için on dakika. Değer, bir sayı ve zaman birimidir. Geçerli zaman birimleri şunlardır: * second, seconds * minute, minutes * hour, hours * day, days Değeri tanımlarken tekil veya çoğul birimi kullanabilirsiniz, örneğin: * {"pipelines.trigger.interval" : "1 hour"} * {"pipelines.trigger.interval" : "10 seconds"} * {"pipelines.trigger.interval" : "30 second"} * {"pipelines.trigger.interval" : "1 minute"} * {"pipelines.trigger.interval" : "10 minutes"} * {"pipelines.trigger.interval" : "10 minute"}

Kullanıcı ayarlanamaz küme öznitelikleri

Delta Live Tabloları küme yaşam döngülerini yönettiği için birçok küme ayarı Delta Live Tables tarafından ayarlanır ve kullanıcılar tarafından işlem hattı yapılandırmasında veya işlem hattı tarafından kullanılan küme ilkesinde el ile yapılandırılamaz. Aşağıdaki tabloda bu ayarlar ve bunların neden el ile ayarlanamadığı listelenir.

Alanlar
cluster_name Delta Live Tables, işlem hattı güncelleştirmelerini çalıştırmak için kullanılan kümelerin adlarını ayarlar. Bu adlar geçersiz kılınamaz.
data_security_mode access_mode Bu değerler sistem tarafından otomatik olarak ayarlanır.
spark_version Delta Live Tables kümeleri, Databricks Runtime'ın en son özellikleri içerecek şekilde sürekli güncelleştirilen özel bir sürümünü üzerinde çalışır. Spark sürümü Databricks Runtime sürümüyle birlikte gelir ve geçersiz kılınamaz.
autotermination_minutes Delta Live Tabloları küme otomatik sonlandırma ve yeniden kullanma mantığını yönettiğinden, küme otomatik sonlandırma süresi geçersiz kılınamaz.
runtime_engine İşlem hattınız için Photon'ı etkinleştirerek bu alanı denetleyebilirsiniz ancak bu değeri doğrudan ayarlayamazsınız.
effective_spark_version Bu değer sistem tarafından otomatik olarak ayarlanır.
cluster_source Bu alan sistem tarafından ayarlanır ve salt okunurdur.
docker_image Delta Live Tables küme yaşam döngüsünü yönettiğinden, işlem hattı kümeleriyle özel bir kapsayıcı kullanamazsınız.
workload_type Bu değer sistem tarafından ayarlanır ve geçersiz kılınamaz.