Konfigurace verzí prostředí pro kanály

Important

Verze prostředí pro kanály Lakeflow jsou ve veřejném náhledu.

Verze prostředí určuje verzi jazyka Python a sadu předinstalovaných knihoven jazyka Python, které jsou k dispozici pro kód Python ve vašem kanálu. Jakékoli externí závislosti, které do pipeline přidáte, se vrství na tento základ.

Verze prostředí oddělují běhové prostředí Pythonu kanálu od verze Databricks Runtime, na které kanál běží. I když je nastavená verze prostředí, upgrady Databricks Runtime nemění vaši jazykovou verzi Python ani předinstalované verze knihovny. Běhové prostředí Pythonu je rovněž kompatibilní s bezserverovými úlohami a poznámkovými bloky, které používají stejnou verzi prostředí. Aktuální verzi modulu Databricks Runtime pro kanály Lakeflow najdete v poznámkách k verzi kanálů Lakeflow a v procesu upgradu verze.

Databricks automaticky migruje způsobilé datové kanály na určitou verzi prostředí. Viz Automatická migrace.

Important

Pipeline s verzí prostředí spouštějí Python kód přes Spark Connect, což může změnit chování některých pipeline kódů. Pro úplný seznam omezení a změn chování viz kompatibilita verzí prostředí.

Požadavky

Verze prostředí mají následující požadavky:

  • Pipeline musí používat Unity Catalog. Kanály v nástroji Hive Metastore nejsou podporovány.

Podporované verze prostředí

Kanály Lakeflow podporují prostředí verze 3 a 4 na bezserverovém i klasickém výpočetním prostředí. Informace o Python jazykové verzi a úplný seznam předinstalovaných knihoven Python dostupných v každé verzi najdete v referenčních informacích k verzi vvironmentu.

Automatická migrace

Databricks automaticky migruje vhodné kanály na verzi prostředí. Migrace probíhá při další aktualizaci pipeline, nevyžaduje žádné ruční kroky a zahrnuje tyto ochrany:

  • Chování se kontroluje před migrací. Databricks skenuje váš pipeline na vzory kódu, které by se pod Spark Connect chovaly jinak, a porovnává výstupní plán pipeline před a po migraci. Viz kompatibilita verzí prostředí.
  • Neúspěšná migrace se automaticky vrátí zpět. Pokud migrovaná aktualizace z jakéhokoliv důvodu selže, je zastavena dříve, než jsou data zapsána, a pipeline se při další aktualizaci automaticky vrátí do předchozího runtime. Není vyžadována žádná akce.
  • Vaše explicitní nastavení jsou vždy respektována. Pokud si environment_version nastavíte sami, Databricks jej nikdy nepřepíše.

Jakmile je pipeline úspěšně migrována, nadále běží na této verzi prostředí. Verzi, která byla vybrána, můžete vidět v nastavení pipeline, v GetPipeline odpovědi API a v logu runtime_details událostí.

Co není automaticky migrováno

Kanál se automaticky nemigruje, pokud nastane některý z následujících případů:

Pipeline, které nejsou automaticky migrovány, běží na předchozím Python runtime bez změny. Jakmile bude pipeline způsobilá, můžete sami aktivovat verzi prostředí.

Aktivujte si verzi prostředí sami

Automatická migrace pokrývá většinu potrubí. Verzi prostředí můžete také explicitně nastavit, například pro rychlejší migraci nebo připnutí konkrétní verze přes uživatelské rozhraní editoru pipeline, Pipelines REST API nebo Declarative Automation Bundles.

Než explicitně povolíte verzi prostředí, zkontrolujte, zda je vaše pipeline kompatibilní se Spark Connect. Pokud Databricks zjistí, že zapnutí verze změní chování vašeho pipeline, aktualizace selže dříve, než jsou data zapsána, přičemž je třeba vyřešit chybu identifikující rozdíl.

Povolení prostřednictvím uživatelského rozhraní

  1. V editoru kanálů klikněte na Nastavení.
  2. V části Prostředí kanálu vyberte ikonu tužky.Upravte prostředí.
  3. V rozevíracím seznamu vyberte verzi prostředí.
  4. Uložte nastavení pipeline.

Externí závislosti přidané v části Prostředí kanálu jsou vrstvené nad knihovnami, které jsou součástí vybrané verze prostředí. Viz Správa závislostí Pythonu pro kanály.

Povolení prostřednictvím rozhraní API

Rozhraní REST API Pipelines při vytvoření a aktualizaci kanálu přijímá blok environment. Pro pracovní prostor musí být povolené ověřování pomocí osobního přístupového tokenu.

Vytvořit kanál s verzí prostředí:

curl --request POST \
  --url 'https://<workspace-host>/api/2.0/pipelines' \
  --header 'Authorization: Bearer <personal-access-token>' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "name": "<pipeline-name>",
    "catalog": "<catalog>",
    "schema": "<schema>",
    "channel": "CURRENT",
    "environment": {
      "environment_version": "4",
      "dependencies": [
        "simplejson==3.19.*"
      ]
    }
  }'

Pokud chcete nastavit verzi prostředí v existujícím kanálu, odešlete stejný environment blok pomocí PUT /api/2.0/pipelines/<pipeline-id>.

Povolení prostřednictvím deklarativních balíčků automatizace

Když vytvoříte pipeline pomocí deklarativních automatizačních balíčků, můžete v definici pipeline ve formátu YAML nastavit verzi prostředí.

  1. Ujistěte se, že rozhraní příkazového řádku Databricks je ve verzi 0.294.0 nebo novější. Pokud ne, proveďte upgrade podle průvodce instalací.
  2. Nastavte sadu podle návodu k pipelines bundle.
  3. Vyhledejte kanál YAML ve vaší sadě, obvykle <bundle-folder>/resources/<pipeline_name>_pipeline.yml.
  4. Nastavte pole environment_version a dependencies v YAML kanálu:
resources:
  pipelines:
    my_pipeline:
      name: my_pipeline
      catalog: ${var.catalog}
      schema: ${var.schema}
      root_path: '../src/my_pipeline'
      libraries:
        - glob:
            include: ../src/my_pipeline/transformations/**
      environment:
        environment_version: 4
        dependencies:
          - --editable ${workspace.file_path}

Kontrola verze prostředí v kanálu

Pro ověření, ve které verzi prostředí pipeline běží, zda jste ji nastavili explicitně, nebo ji Databricks vybral během automatické migrace:

  • Uživatelské rozhraní: Otevřete nastavení kanálu a zkontrolujte část Prostředí kanálu nebo zkontrolujte podokno JSON pro environment.environment_version dané pole.
  • API: Zavolejte GET /api/2.0/pipelines/<pipeline-id> a v odpovědi vyhledejte environment.environment_version. Ukazuje verzi, kterou jste explicitně nastavili; Pro zobrazení verze vybrané automatickou migrací použijte níže uvedený event log.
  • Event log: Zkontrolujte událost runtime_details , která hlásí verzi prostředí použitou pro aktualizaci. Viz podrobnosti o události runtime_details.

Zakázat nebo obnovit předchozí verzi prostředí

Nemusíte automatickou migraci manuálně vracet zpět. Migrace, která selže, je automaticky vrácena při další aktualizaci. Po odstranění verze prostředí se pipeline vrátí k předchozí konfiguraci běhového prostředí Pythonu. Pokud se stane něco neočekávaného, kontaktujte podporu Azure Databricks.

Dodatečné zdroje

  • Last updated on