Delta Live Tables işlem hattı için işlem yapılandırma

Makale
11/05/2024

Bu makale, Delta Live Tables işlem hatları için özel işlem ayarlarını yapılandırma yönergelerini ve dikkat edilmesi gerekenleri içerir.

Sunucusuz işlem hatları işlem yapılandırma seçenekleri sağlamaz. Bkz . Sunucusuz Delta Live Tables işlem hattını yapılandırma.

Küme ilkesi seçme

Kullanıcıların Delta Live Tables işlem hatlarını yapılandırmak ve güncelleştirmek için işlem dağıtma izni olmalıdır. Çalışma alanı yöneticileri, kullanıcılara Delta Live Tables için işlem kaynaklarına erişim sağlamak üzere küme ilkelerini yapılandırabilir. Bkz . Delta Live Tables işlem hattı işlem hattında sınırları tanımlama.

Not

Küme ilkeleri isteğe bağlıdır. Delta Live Tables için gereken işlem ayrıcalıklarınızın eksik olup olmadığını çalışma alanı yöneticinize danışın.
Küme ilkesi varsayılan değerlerinin doğru uygulandığından emin olmak için true işlem hattı yapılandırmanızdaki küme yapılandırmalarında olarak ayarlayınapply_policy_default_values:
```
{
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}
```

Küme etiketlerini yapılandırma

İşlem hattı kümelerinizin kullanımını izlemek için küme etiketlerini kullanabilirsiniz. İşlem hattı oluştururken veya düzenlerken veya işlem hattı kümelerinizin JSON ayarlarını düzenleyerek Delta Live Tables kullanıcı arabirimine küme etiketleri ekleyin.

İşlem hattını çalıştırmak için örnek türlerini seçme

Delta Live Tables varsayılan olarak işlem hattınızın sürücüsü ve çalışan düğümleri için örnek türlerini seçer. İsteğe bağlı olarak örnek türlerini yapılandırabilirsiniz.

Örneğin, işlem hattı performansını geliştirmek veya işlem hattınızı çalıştırırken bellek sorunlarını gidermek için örnek türlerini seçin. REST API ile işlem hattı oluştururken veya düzenlerken ya da Delta Live Tables kullanıcı arabiriminde örnek türlerini yapılandırabilirsiniz.

Delta Live Tables kullanıcı arabiriminde işlem hattı oluştururken veya düzenlerken örnek türlerini yapılandırmak için:

Ayarlar düğmesine tıklayın.
İşlem hattı ayarlarının Gelişmiş bölümünde Çalışan türü ve Sürücü türü açılan menülerinde işlem hattı için örnek türlerini seçin.

Gelişmiş işlem yapılandırmaları

Not

İşlem kaynakları sunucusuz DLT işlem hatları için tam olarak yönetildiğinden işlem hattı için Sunucusuz seçeneğini belirlediğinizde işlem ayarları kullanılamaz.

Her Delta Live Tables işlem hattının iki ilişkili kümesi vardır:

Küme işlem updates hattı güncelleştirmelerini işler.
Küme günlük maintenance bakım görevlerini çalıştırır.

Çalışma alanı işlem hattı yapılandırma kullanıcı arabirimi kullanılarak belirtilen işlem ayarları hem güncelleştirme hem de bakım kümeleri için geçerlidir. Bu ayarları bağımsız olarak değiştirmek için JSON yapılandırmasını düzenlemeniz gerekir.

Bu kümelerin kullandığı yapılandırma, işlem hattı ayarlarınızda belirtilen öznitelik tarafından clusters belirlenir.

Küme etiketlerini kullanarak, yalnızca belirli bir küme türüne uygulanan işlem ayarları ekleyebilirsiniz. İşlem hattı kümelerini yapılandırırken kullanabileceğiniz üç etiket vardır:

Not

Yalnızca bir küme yapılandırması tanımlarsanız küme etiketi ayarı atlanabilir. Etiket default için bir ayar sağlanmazsa, etiket küme yapılandırmalarına uygulanır. Küme etiketi ayarı yalnızca farklı küme türleri için ayarları özelleştirmeniz gerekiyorsa gereklidir.

Etiket, default hem hem maintenance de updates kümeleri için işlem ayarlarını tanımlar. Her iki kümeye de aynı ayarların uygulanması, bir depolama konumu için veri erişim kimlik bilgileri gibi gerekli yapılandırmaların bakım kümesine uygulanmasını sağlayarak bakım çalıştırmalarının güvenilirliğini artırır.
Etiket, maintenance yalnızca maintenance küme için geçerli olan işlem ayarlarını tanımlar. Etiketi, maintenance etiket tarafından default yapılandırılan ayarları geçersiz kılmak için de kullanabilirsiniz.
Etiket, updates yalnızca updates küme için geçerli olan ayarları tanımlar. Kümeye uygulanmaması gereken ayarları yapılandırmak için maintenance bunu kullanın.

ve updates etiketleri kullanılarak default tanımlanan ayarlar, kümenin son yapılandırmasını oluşturmak üzere updates birleştirilir. Aynı ayar hem hem de default updates etiketler kullanılarak tanımlanırsa, etiketle updates tanımlanan ayar etiketle default tanımlanan ayarı geçersiz kılar.

Aşağıdaki örnek, yalnızca küme yapılandırmasına eklenen bir Spark yapılandırma parametresini updates tanımlar:

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
         "key": "value"
      }
    }
  ]
}

Delta Live Tabloları, küme ayarları için Azure Databricks'te diğer işlemlerle benzer seçeneklere sahiptir. Diğer işlem hattı ayarları gibi, kümeler için JSON yapılandırmasını da kullanıcı arabiriminde bulunmayan seçenekleri belirtmek üzere değiştirebilirsiniz. Bkz. İşlem.

Not

Delta Live Tables çalışma zamanı işlem hattı kümelerinin yaşam döngüsünü yönettiğinden ve Databricks Runtime'ın özel bir sürümünü çalıştırdığından, spark sürümü veya küme adları gibi bir işlem hattı yapılandırmasında bazı küme ayarlarını el ile ayarlayamazsınız. Bkz. Kullanıcı ayarlanamaz küme öznitelikleri.

Güncelleştirme ve bakım kümeleri için örnek türlerini yapılandırma

İşlem hattının JSON ayarlarında örnek türlerini yapılandırmak için JSON düğmesine tıklayın ve küme yapılandırmasına örnek türü yapılandırmalarını girin:

Not

Kümeye maintenance gereksiz kaynaklar atanmasını önlemek için, bu örnek etiketi kullanarak updates yalnızca updates küme için örnek türlerini ayarlar. Örnek türlerini hem hem de updates maintenance kümelere atamak için etiketi kullanın default veya etiketin ayarını atayın. Etiket default için ayar sağlanmazsa, etiket işlem hattı kümesi yapılandırmalarına uygulanır. Bkz. Gelişmiş işlem yapılandırmaları.

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "..." : "..."
    }
  ]
}

İşlem kapatmayı geciktirme

Küme kapatma davranışını denetlemek için geliştirme veya üretim modunu veya işlem hattı yapılandırmasındaki ayarı kullanabilirsiniz pipelines.clusterShutdown.delay . Aşağıdaki örnekte pipelines.clusterShutdown.delay değeri 60 saniye olarak ayarlanır:

{
    "configuration": {
      "pipelines.clusterShutdown.delay": "60s"
    }
}

production modu etkinleştirildiğinde pipelines.clusterShutdown.delay için varsayılan değer 0 seconds olur. development modu etkinleştirildiğinde varsayılan değer 2 hours olur.

Not

Delta Live Tables kümesi kullanılmadığında otomatik olarak kapatıldığından, küme yapılandırmanızda ayarlayan autotermination_minutes bir küme ilkesine başvurmak hatayla sonuçlanır.

Tek düğüm kümesi oluşturma

Küme ayarlarında 0 olarak ayarlarsanıznum_workers, küme Tek Düğüm kümesi olarak oluşturulur. Otomatik ölçeklendirme kümesinin yapılandırılması ve 0 ve max_workers 0 olarak ayarlanması min_workers Tek Düğüm kümesi oluşturur.

Bir otomatik ölçeklendirme kümesi yapılandırıp yalnızca min_workers 0 olarak ayarlarsanız, küme Tek Düğüm kümesi olarak oluşturulmaz. Kümenin sonlandırılana kadar her zaman en az bir etkin çalışanı vardır.

Delta Live Tables'da Tek Düğümlü bir küme oluşturmak için örnek küme yapılandırması:

{
    "clusters": [
      {
        "num_workers": 0
      }
    ]
}

Aracılığıyla paylaş