Konfigurace verzí prostředí pro kanály

Important

Verze prostředí pro deklarativní kanály Sparku Lakeflow (SDP) jsou v beta verzi.

Verze prostředí určuje verzi jazyka Python a sadu předinstalovaných knihoven jazyka Python, které jsou k dispozici pro kód Python ve vašem kanálu. Jakékoli externí závislosti, které do pipeline přidáte, se vrství na tento základ.

Verze prostředí oddělují běhové prostředí Pythonu kanálu od verze Databricks Runtime, na které kanál běží. I když je nastavená verze prostředí, upgrady Databricks Runtime nemění vaši jazykovou verzi Python ani předinstalované verze knihovny. Běhové prostředí Pythonu je rovněž kompatibilní s bezserverovými úlohami a poznámkovými bloky, které používají stejnou verzi prostředí. Pokud chcete zjistit aktuální verzi modulu Runtime Databricks pro deklarativní kanály Sparku Lakeflow, přečtěte si poznámky k verzi deklarativních kanálů Sparku a proces upgradu verze.

Important

Pipeliney s verzí prostředí spouštějí kód v Pythonu prostřednictvím Spark Connect. Spark Connect mění chování kódu pipeline. Před povolením verze prostředí ve stávajícím pipeline viz Kompatibilita verzí prostředí, kde najdete informace o omezeních, změnách chování, kontrole kompatibility a pracovním postupu migrace.

Požadavky

Verze prostředí mají následující požadavky:

  • Pipeline musí používat Unity Catalog. Kanály v nástroji Hive Metastore nejsou podporovány.

Podporované verze prostředí

SDP podporuje prostředí verze 3 a 4 na bezserverovém i klasickém výpočetním prostředí. Informace o Python jazykové verzi a úplný seznam předinstalovaných knihoven Python dostupných v každé verzi najdete v referenčních informacích k verzi vvironmentu.

Povolení verze prostředí v kanálu

Verzi prostředí můžete nastavit prostřednictvím uživatelského rozhraní editoru pipeline, REST API pro Pipelines nebo deklarativních balíčků automatizace.

Před povolením verze prostředí v kanálu nezapomeňte zkontrolovat kompatibilitu se Spark Connectem .

Povolení prostřednictvím uživatelského rozhraní

  1. V editoru kanálů klikněte na Nastavení.
  2. V části Prostředí kanálu vyberte ikonu tužky.Upravte prostředí.
  3. V rozevíracím seznamu vyberte verzi prostředí.
  4. Uložte nastavení pipeline.

Externí závislosti přidané v části Prostředí kanálu jsou vrstvené nad knihovnami, které jsou součástí vybrané verze prostředí. Viz Správa závislostí Pythonu pro kanály.

Povolení prostřednictvím rozhraní API

Rozhraní REST API Pipelines při vytvoření a aktualizaci kanálu přijímá blok environment. Pro pracovní prostor musí být povolené ověřování pomocí osobního přístupového tokenu.

Vytvořit kanál s verzí prostředí:

curl --request POST \
  --url 'https://<workspace-host>/api/2.0/pipelines' \
  --header 'Authorization: Bearer <personal-access-token>' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "name": "<pipeline-name>",
    "catalog": "<catalog>",
    "schema": "<schema>",
    "channel": "CURRENT",
    "environment": {
      "environment_version": "4",
      "dependencies": [
        "simplejson==3.19.*"
      ]
    }
  }'

Pokud chcete nastavit verzi prostředí v existujícím kanálu, odešlete stejný environment blok pomocí PUT /api/2.0/pipelines/<pipeline-id>.

Povolení prostřednictvím deklarativních balíčků automatizace

Když vytvoříte pipeline pomocí deklarativních automatizačních balíčků, můžete v definici pipeline ve formátu YAML nastavit verzi prostředí.

  1. Ujistěte se, že rozhraní příkazového řádku Databricks je ve verzi 0.294.0 nebo novější. Pokud ne, proveďte upgrade podle průvodce instalací.
  2. Nastavte sadu podle návodu k pipelines bundle.
  3. Vyhledejte kanál YAML ve vaší sadě, obvykle <bundle-folder>/resources/<pipeline_name>_pipeline.yml.
  4. Nastavte pole environment_version a dependencies v YAML kanálu:
resources:
  pipelines:
    my_pipeline:
      name: my_pipeline
      catalog: ${var.catalog}
      schema: ${var.schema}
      root_path: '../src/my_pipeline'
      libraries:
        - glob:
            include: ../src/my_pipeline/transformations/**
      environment:
        environment_version: 4
        dependencies:
          - --editable ${workspace.file_path}

Kontrola verze prostředí v kanálu

Kontrola, zda je pro kanál nakonfigurována verze prostředí:

  • Uživatelské rozhraní: Otevřete nastavení kanálu a zkontrolujte část Prostředí kanálu nebo zkontrolujte podokno JSON pro environment.environment_version dané pole.
  • API: Zavolejte GET /api/2.0/pipelines/<pipeline-id> a v odpovědi vyhledejte environment.environment_version.
  • Protokol událostí: Zkontrolujte událost create_update u pole environment_version.

Zakázání verze prostředí v kanálu

Odstraňte verzi prostředí v části Pipeline Environment v nastavení pipeline nebo odeberte pole environment_version z bloku environment v definici rozhraní API nebo bundlu.

Po odstranění verze prostředí se pipeline vrátí k předchozí konfiguraci běhového prostředí Pythonu.

Dodatečné zdroje

  • Last updated on