Sürekli işlem hatları için güncellemeleri yönetin

Sürekli bir pipeline durmadan çalışır, bu yüzden Azure Databricks, yeni çalışma zamanı sürümleri veya altyapı bakımı gibi platform güncellemelerini uygulamadan önce bitmesini bekleyemez. Bu güncellemeleri uygulamak için Azure Databricks pipeline'ı yeniden başlatır. Bir bakım penceresi, bu yeniden başlatmaların ne zaman gerçekleştiğini kontrol etmenizi sağlar: haftanın bir günü, bir başlangıç saati ve bir saat dilimi seçirsiniz ve Azure Databricks bakıma sadece o pencere içinde başlar.

Bakım penceresi, boru hattını çalıştıran sürekli işin bir ayarıdır. Bir tane ayarlamazsanız, bakım herhangi bir zamanda gerçekleşebilir.

Azure Databricks güncellemeleri nasıl uygular?

Sürekli bir işlem hattını güncellemek için Azure Databricks, yeni bir kümede yeni bir işlem hattı güncelleştirmesi başlatır ve önceki kümeyi kapatır. Sürekli işlem hatları ilerlemelerini bir akış denetim noktasında izlediği için, yeni güncelleme önceki güncellemenin kaldığı yerden devam eder. Veri işleme takas sırasında kısa bir süre duraklar, ardından veri kaybetmeden devam eder.

Azure Databricks, bakım sürecini yalnızca seçtiğiniz günün başlangıç saatinde başlayan bir saatlik bir aralık içinde başlatır. Yeniden başlatma genellikle kısa olur.

İş yükünüz için kısa bir yeniden başlatmanın kabul edilebilir olduğu bir gün seçin ve başlama saatini seçin.

Hangi güncelleştirmeler dahildir?

Sürekli bir boru hattı için bakım şunları içerebilir:

  • Databricks Runtime sürüm yükseltmeleri
  • Güvenlik düzeltme ekleri ve güncelleştirmeler
  • İşletim sistemi güncelleştirmeleri
  • Lakeflow özellikleri ve geliştirmeleri üzerine Spark Deklaratif Boru Hatları
  • Sunucusuz altyapı bakımı, örneğin uzun süreli sunucusuz kümelerin periyodik geri dönüşümü

Hem çalışma zamanı yükseltmeleri (hizmet yükseltmeleri) hem de sunucusuz altyapı bakımı, yapılandırdığınız bakım penceresine saygı gösterir.

Important

Sunucusuz kümelerin maksimum ömrü vardır. Eğer bu sınıra bir sonraki bakım pencerenizden önce ulaşılırsa, Azure Databricks, o anki saat bakım pencerenizin dışında olsa bile, bu sınır dahilinde kalmak için işlem hattını yeniden başlatır. Bu, uzun süreli bir boru hattının sonunda geri dönüştürülmesini sağlar.

Güncelleştirmeler ne sıklıkta uygulanır?

Azure Databricks, yalnızca bakım gerektirdiğinde güncelleme uygular. Yeni çalışma zamanı sürümleri periyodik olarak yayımlanır ve sunucusuz altyapı bakımı tekrarlayan bir ritimde gerçekleşir. Bireysel bir boru hattının ne sıklıkla yeniden başlatıldığı şuna bağlıdır:

  • İşlem hattınıza uygulanan yeni Databricks Runtime sürümlerinin yayınlanma sıklığı
  • Sunucusuz boru hatları için, sunucusuz küme geri dönüşüm takvimi
  • Bakım sürenizin ne sıklıkla gerçekleştiğini

Bakım pencereniz geldiğinde ve bekleyen bir güncelleme olmadığında, bakım penceresi yeniden başlatma olmadan geçer.

Bakım penceresi yapılandırma

Azure Databricks arayüzü ile, Jobs REST API'si ile veya Declarative Automation Bundles ile bakım penceresi ayarlayabilirsiniz.

Bir bakım penceresinin üç gerekli parçası vardır:

Setting Açıklama
Haftanın günü Tek bir gün, Pazartesi'den Pazar'a.
Başlama saati Pencerenin başladığı saat; 24 saatlik zaman biçiminde, 0 ile 23 arasında bir tam sayı olarak.
Zaman dilimi Bir Java saat dilimi kimliği, örneğin America/New_York. Azure Databricks bu zaman dilimindeki pencereyi değerlendirir.

Note

Bakım pencereleri yalnızca sürekli işler ve boru hatları için geçerlidir. Bu ayar, bir takvim veya farklı tetikleyici türüyle çalışan işler için mevcut değildir.

UI'da bir bakım penceresi yapılandırma

Bir bakım penceresini İşler arayüzü veya Pipelines arayüzü üzerinden yapılandırabilirsiniz.

İşler arayüzünden

  1. Azure Databricks çalışma alanınızın yan panelinde İş Akışları simgesine tıklayın. İşler & Boru hatları.
  2. İşin adına tıklayın.
  3. İş detayları panelinde, Sürekli tetikleyiciyi açın ve Gelişmiş seçeneğini genişleterek Bakım penceresini bulun.
  4. Haftanın bir günü, bir başlangıç saati ve bir saat dilimi seçin.
  5. Kaydet'e tıklayın.

Pipelines arayüzünden

  1. Azure Databricks çalışma alanınızın yan panelinde İş Akışları simgesine tıklayın. İşler & Boru hatları.
  2. Boru hattının adına tıklayın.
  3. Schedule seçeneğini açın ve Gelişmiş ayarlar'ı genişleterek Bakım penceresini bulun.
  4. Haftanın bir günü, bir başlangıç saati ve bir saat dilimi seçin.
  5. Kaydet'e tıklayın.

İşler API'si ile bir bakım penceresi yapılandırın

continuous ile bir görev oluştururken veya güncellerken, maintenance_window ayarları içindeki alanını ayarlayın. Aşağıdaki örnek, bakımın Salı günleri Doğu Saati ile saat 2'de başlayacak şekilde yapılandırılmasını sağlar:

{
  "continuous": {
    "pause_status": "UNPAUSED",
    "maintenance_window": {
      "start_hour": 2,
      "day_of_week": "TUESDAY",
      "timezone_id": "America/New_York"
    }
  }
}

Bakım penceresi ayarladığınızda üç alan (start_hour, day_of_week, ve timezone_id) de gereklidir. start_hour, 0 ile 23 arasında bir tam sayı olmalıdır.

Deklaratif Otomasyon Paketleri ile bir bakım penceresi yapılandırmak

Eşlemeyi maintenance_window işin continuous eşlemesi içinde ayarlayın. Eşleme maintenance_window için Databricks CLI sürüm 1.16.0 veya üzeri gereklidir. Doğrulamanın eski sürümlerde başarısız olması için bundle.databricks_cli_version değerini '>= 1.16.0' olarak ayarlayın. Aşağıdaki örnek, bakımın Salı günleri Doğu Saati ile saat 2'de başlayacak şekilde yapılandırılmasını sağlar:

bundle:
  name: continuous_pipeline_bundle
  databricks_cli_version: '>= 1.16.0'

resources:
  jobs:
    continuous_pipeline_job:
      name: continuous_pipeline_job
      continuous:
        pause_status: UNPAUSED
        maintenance_window:
          start_hour: 2
          day_of_week: TUESDAY
          timezone_id: America/New_York
      tasks:
        - task_key: refresh_pipeline
          pipeline_task:
            pipeline_id: ${resources.pipelines.example_pipeline.id}

Bakım bildirimlerini yapılandır

Azure Databricks, bakım yeniden başlatma başladığında ve bittiğinde sizi bilgilendirebilir. Bakım bildirimleri standart Lakeflow İşleri bildirim sistemini kullanır, böylece bunları e-posta adreslerine veya Slack, PagerDuty veya Microsoft Teams gibi sistem adreslerine gönderebilirsiniz. Bkz. Bir işe bildirim ekleme.

Sürekli bir işte iki etkinlik mevcuttur:

  • Bakım başlangıcı: bakım yeniden başlatma başladığında gönderilir. İşi, nedeni (örneğin hizmet yükseltmesi) ve başlangıç saatini içerir.
  • Bakım tamamlandı: yeniden başlatma bitince gönderiliyor. Nedeni, tamamlanma süresi, yeniden başlatma süresi ve yeniden başlatmadan sonraki boru hattının durumunu içerir.

Yaz saati geçişleri

Azure Databricks, yapılandırdığınız zaman dilimindeki bakım penceresini değerlendirir, böylece pencere o bölgenin yaz saati geçişlerini takip eder. Çoğu gün, pencere ayarlanmış yerel saatinizde başlar. Saatlerin değiştiği gün, başlangıç bir saate kadar kayabilir. Çalışma programınıza uygun bir saat dilimi seçin.

Güncellemeler sırasında bozulmaları yönetin

Bakım amaçlı yeniden başlatma, yeni güncelleme devreye girerken veri işlemeyi duraklatır. Akış kaynakları duraklama sırasında veri biriktirmeye devam ediyor ve yeni güncelleme boru hattının kontrol noktasından devam ediyor, böylece veri kaybolmuyor.

Boru hattınızda katı gecikme gereksinimleri varsa, kısa bir duraklamanın kabul edilebilir olduğu bir süre içinde bakım penceresi seçin. Yeniden başlatmadan sonra boru hattının sağlıklı bir duruma döndüğünü doğrulamak için, Bakım Tamamlanma bildirimini izleyin.

  • Son güncelleştirme: