Konfigurasikan versi lingkungan untuk pipeline

Important

Versi lingkungan untuk pipeline Lakeflow masih dalam tahap Beta.

Versi lingkungan menetapkan versi bahasa Python dan sekumpulan pustaka Python prainstal yang tersedia untuk kode Python di pipeline Anda. Dependensi eksternal apa pun yang Anda tambahkan ke pipeline akan dilapiskan di atas dasar ini.

Versi lingkungan memisahkan runtime Python pipeline Anda dari versi Databricks Runtime yang digunakan pipeline Anda untuk berjalan. Saat versi lingkungan diatur, peningkatan Databricks Runtime tidak mengubah versi bahasa Python Anda atau versi pustaka yang telah diinstal sebelumnya. Runtime Python juga konsisten dengan job tanpa server dan notebook yang menggunakan versi lingkungan yang sama. Untuk menemukan versi Databricks Runtime saat ini untuk alur Lakeflow, lihat Catatan rilis alur Lakeflow dan proses peningkatan rilis.

Important

Pipeline dengan versi lingkungan menjalankan kode Python melalui Spark Connect. Spark Connect mengubah perilaku kode alur. Sebelum mengaktifkan versi lingkungan pada alur yang ada, lihat Kompatibilitas versi lingkungan untuk batasan, perubahan perilaku, pemindaian kompatibilitas, dan alur kerja migrasi.

Persyaratan

Versi lingkungan memiliki persyaratan berikut:

  • Alur harus menggunakan Katalog Unity. Alur metastore Apache Hive tidak didukung.

Versi lingkungan yang didukung

Alur Lakeflow mendukung lingkungan versi 3 dan 4 pada komputasi tanpa server dan klasik. Untuk versi bahasa Python dan daftar lengkap pustaka Python yang telah diinstal sebelumnya yang tersedia di setiap versi, lihat referensi versi environment.

Aktifkan versi lingkungan pada pipeline

Anda dapat mengonfigurasi versi lingkungan melalui antarmuka pengguna editor alur, Pipelines REST API, atau Bundel Otomatisasi Deklaratif.

Pastikan untuk memeriksa kompatibilitas dengan Spark Connect sebelum mengaktifkan versi lingkungan pada pipeline.

Mengaktifkan melalui UI

  1. Dari editor alur, klik Pengaturan.
  2. Di bawah Pipeline Environment, pilih ikon pensil.Edit environment.
  3. Pilih versi lingkungan dari daftar dropdown.
  4. Simpan pengaturan alur.

Dependensi eksternal yang ditambahkan di bagian Pipeline Environment ditambahkan di atas pustaka yang disertakan dalam versi lingkungan yang dipilih. Lihat Mengelola dependensi Python untuk alur.

Mengaktifkan melalui API

Pipelines REST API menerima blok environment saat pembuatan dan pembaruan pipeline. Autentikasi Token Akses Pribadi harus diaktifkan untuk ruang kerja.

Untuk membuat pipeline dengan versi lingkungan:

curl --request POST \
  --url 'https://<workspace-host>/api/2.0/pipelines' \
  --header 'Authorization: Bearer <personal-access-token>' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "name": "<pipeline-name>",
    "catalog": "<catalog>",
    "schema": "<schema>",
    "channel": "CURRENT",
    "environment": {
      "environment_version": "4",
      "dependencies": [
        "simplejson==3.19.*"
      ]
    }
  }'

Untuk mengatur versi lingkungan pada alur yang ada, kirim blok yang sama environment dengan PUT /api/2.0/pipelines/<pipeline-id>.

Mengaktifkan melalui Bundel Otomatisasi Deklaratif

Saat membuat alur menggunakan Bundel Otomatisasi Deklaratif, Anda dapat mengatur versi lingkungan dalam definisi YAML alur.

  1. Pastikan Databricks CLI Anda berada di versi v0.294.0 atau yang lebih baru. Jika tidak, tingkatkan dengan mengikuti panduan penginstalan.
  2. Siapkan bundel dengan mengikuti tutorial bundel pipeline.
  3. Temukan file YAML pipeline dalam bundel Anda, biasanya <bundle-folder>/resources/<pipeline_name>_pipeline.yml.
  4. Atur field environment_version dan dependencies di YAML pipeline:
resources:
  pipelines:
    my_pipeline:
      name: my_pipeline
      catalog: ${var.catalog}
      schema: ${var.schema}
      root_path: '../src/my_pipeline'
      libraries:
        - glob:
            include: ../src/my_pipeline/transformations/**
      environment:
        environment_version: 4
        dependencies:
          - --editable ${workspace.file_path}

Periksa versi lingkungan pada pipeline

Untuk memeriksa apakah versi lingkungan dikonfigurasi dalam pipeline:

  • UI: Buka pengaturan alur dan periksa bagian Lingkungan Alur , atau periksa panel JSON untuk bidang tersebut environment.environment_version .
  • API: Panggil GET /api/2.0/pipelines/<pipeline-id> dan cari environment.environment_version dalam respons.
  • Log kejadian: Periksa kejadian create_update untuk kolom environment_version.

Nonaktifkan versi lingkungan pada pipeline

Hapus versi lingkungan melalui bagian Lingkungan Pipeline di pengaturan pipeline, atau hapus bidang environment_version dari blok environment di API atau definisi bundel.

Saat versi lingkungan dihapus, alur kembali ke konfigurasi runtime Python sebelumnya.

Sumber daya tambahan

  • Last updated on