İşlem hatları için ortam sürümlerini yapılandırma

Important

Lakeflow işlem hatları için ortam sürümleri Genel Önizleme aşamasındadır.

Ortam sürümü, Python dil sürümünü ve işlem hattınızın Python koduna sağlanan önceden yüklenmiş Python kitaplık kümesini sabitler. İşlem hattına eklediğiniz tüm dış bağımlılıklar bu tabanın üzerinde katmanlanır.

Ortam sürümleri, işlem hattınızın Python çalışma zamanını, işlem hattınızın üzerinde çalıştığı Databricks Runtime sürümünden ayırır. Ortam sürümü ayarlanırken Databricks Runtime yükseltmeleri Python dil sürümünüzü veya önceden yüklenmiş kitaplık sürümlerinizi değiştirmez. Python çalışma zamanı aynı ortam sürümünü kullanan sunucusuz İşler ve not defterleriyle de tutarlıdır. Lakeflow işlem hatlarının geçerli Databricks Runtime sürümünü bulmak için bkz. Lakeflow işlem hatları sürüm notları ve sürüm yükseltme işlemi.

Databricks, uygun boru hatlarını otomatik olarak bir ortam sürümüne taşır. Otomatik geçiş sayfasına bakınız.

Important

Çevre sürümüne sahip boru hatları, bazı boru hattı kodlarının davranışını değiştirebilen Spark Connect üzerinden Python kodunu çalıştırır. Sınırlamalar ve davranış değişikliklerinin tam listesi için Ortam sürüm uyumluluğu sayfasına bakınız.

Requirements

Ortam sürümleri aşağıdaki gereksinimlere sahiptir:

  • İşlem hattı Unity Kataloğu'nu kullanmalıdır. Hive meta veri deposu işlem hatları desteklenmez.

Desteklenen ortam sürümleri

Lakeflow işlem hatları, hem sunucusuz hem de klasik işlemde 3 . ve 4 . ortam sürümlerini destekler. Python dil sürümü ve her sürümde kullanılabilen önceden yüklenmiş Python kitaplıklarının tam listesi için bkz. environment sürüm başvurusu.

Otomatik göç

Databricks, uygun boru hatlarını otomatik olarak bir ortam sürümüne taşır. Geçiş, bir boru hattının bir sonraki güncellemesinde gerçekleşir, manuel adım gerektirmez ve şu koruma önlemlerini içerir:

  • Davranış göç öncesi kontrol edilir. Databricks, Spark Connect altında farklı davranacak kod desenlerini pipeline'da tarar ve boru hattının çıkış planını geçiş öncesi ve sonrası karşılaştırır. Environment sürüm uyumluluğuna bakınız.
  • Başarısız bir göç otomatik olarak geri döner. Taşınan bir güncelleme herhangi bir nedenle başarısız olursa, veri yazılmadan durdurulur ve boru hattı bir sonraki güncellemede otomatik olarak önceki çalışma zamanına geri döner. Eylem gerekmez.
  • Açıkça belirttiğiniz ayarlara her zaman uyulur. environment_version değerini kendiniz ayarlarsanız, Databricks bunu hiçbir zaman geçersiz kılmaz.

Bir işlem hattı başarıyla taşındıktan sonra, artık ortam sürümünde çalışır. Pipeline ayarlarında seçilen sürümü, GetPipeline API yanıtı ve runtime_details etkinlik günlüğünde görebilirsiniz.

Otomatik olarak taşınmayan şeyler

Aşağıdakilerden herhangi biri geçerliyse bir işlem hattı otomatik olarak geçirilmez:

Taşınmayan boru hatları otomatik olarak önceki Python çalışma zamanlarında çalışmaya devam eder ve hiçbir değişiklik olmaz. İşlem hattı uygun hâle geldiğinde, bir ortam sürümünü kendiniz etkinleştirebilirsiniz.

Bir ortam versiyonunu kendiniz etkinleştirin

Otomatik göç çoğu boru hattını kapsar. Ayrıca, örneğin daha erken geçiş yapmak veya belirli bir sürümü sabitlemek için, bir ortam sürümünü pipeline düzenleyici kullanıcı arayüzü, Pipelines REST API ya da Declarative Automation Bundles aracılığıyla açıkça yapılandırabilirsiniz.

Bir ortam sürümünü açıkça etkinleştirmeden önce, pipeline'ınızın Spark Connect ile uyumlu olup olmadığını kontrol edin. Databricks, sürümün etkinleştirilmesinin işlem hattınızın davranışını değiştireceğini tespit ederse, herhangi bir veri yazılmadan önce güncelleme başarısız olur ve giderilmesi gereken farkı belirten bir hata görüntülenir.

Kullanıcı arabirimi aracılığıyla etkinleştirme

  1. İşlem hattı düzenleyicisinde Ayarlar'a tıklayın.
  2. İşlem Hattı Ortamı'nın altında Kalem simgesi'ne tıklayın.Ortamı düzenleyin.
  3. Açılan listeden bir ortam sürümü seçin.
  4. İşlem hattı ayarlarını kaydedin.

İşlem Hattı Ortamı bölümüne eklenen dış bağımlılıklar, seçili ortam sürümüne dahil edilen kitaplıkların üzerine katmanlanır. Bkz. İşlem hatları için Python bağımlılıklarını yönetme.

API aracılığıyla etkinleştirme

İşlem Hatları REST API'si, işlem hattı oluşturma ve güncelleştirme ile ilgili bir environment blok kabul eder. Çalışma alanı için Kişisel Erişim Belirteci kimlik doğrulaması etkinleştirilmelidir.

Bir ortam sürümüyle işlem hattı oluşturmak için:

curl --request POST \
  --url 'https://<workspace-host>/api/2.0/pipelines' \
  --header 'Authorization: Bearer <personal-access-token>' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "name": "<pipeline-name>",
    "catalog": "<catalog>",
    "schema": "<schema>",
    "channel": "CURRENT",
    "environment": {
      "environment_version": "4",
      "dependencies": [
        "simplejson==3.19.*"
      ]
    }
  }'

Mevcut bir işlem hattında ortam sürümünü ayarlamak için, environment ile aynı PUT /api/2.0/pipelines/<pipeline-id> bloğunu gönderin.

Bildirim temelli Otomasyon Paketleri aracılığıyla etkinleştirme

Bildirim temelli Otomasyon Paketlerini kullanarak bir işlem hattı oluşturduğunuzda, işlem hattının YAML tanımında bir ortam sürümü ayarlayabilirsiniz.

  1. Databricks CLI'nizin v0.294.0 veya sonraki bir sürümde olduğundan emin olun. Aksi takdirde, yükleme kılavuzunu izleyerek yükseltin.
  2. İşlem hattı paketi öğreticisini izleyerek bir paket oluşturun.
  3. Paketinizdeki işlem hattı YAML dosyasını bulun; bu dosya genellikle <bundle-folder>/resources/<pipeline_name>_pipeline.yml konumundadır.
  4. İşlem hattı YAML'sinde environment_version ve dependencies alanlarını ayarlayın:
resources:
  pipelines:
    my_pipeline:
      name: my_pipeline
      catalog: ${var.catalog}
      schema: ${var.schema}
      root_path: '../src/my_pipeline'
      libraries:
        - glob:
            include: ../src/my_pipeline/transformations/**
      environment:
        environment_version: 4
        dependencies:
          - --editable ${workspace.file_path}

İşlem hattındaki ortam sürümünü denetleyin

Bir boru hattının hangi ortam sürümünün çalıştığını kontrol etmek için, bunu açıkça mı ayarladığınızı ya da otomatik göç sırasında Databricks'in seçip seçmediğini kontrol etmek için:

  • Kullanıcı arabirimi: İşlem hattı ayarlarını açın ve İşlem Hattı Ortamı bölümünü denetleyin veya alanın JSON bölmesini environment.environment_version inceleyin.
  • API: GET /api/2.0/pipelines/<pipeline-id> çağrısı yapın ve yanıtta environment.environment_version arayın. Bu, açıkça belirlediğiniz bir versiyonu gösterir; Otomatik göçle seçilen bir sürümü görmek için aşağıdaki olay kaydını kullanın.
  • Olay günlüğü: Güncelleme için kullanılan ortam sürümünü bildiren runtime_details olayı inceleyin. runtime_details etkinliğinin ayrıntılarına bakın.

Bir ortam sürümünü devre dışı bırakın veya geri alın

Otomatik göçü manuel olarak geri almanıza gerek yok. Başarısız olan bir göç, bir sonraki güncellemede otomatik olarak geri döner. Ortam sürümü kaldırıldığında işlem hattı önceki Python çalışma zamanı yapılandırmasına döner. Beklenmedik bir şey olursa, Azure Databricks destek ile iletişime geçin.

Ek kaynaklar

  • Ortam sürüm uyumluluğu — sınırlamalar, davranış değişiklikleri, uyumluluk taraması ve otomatik geçiş.
  • işlem hatları için Python bağımlılıklarını yönetme— dış Python bağımlılıklarını ortam sürümünün üzerine katmanlama.
  • Last updated on