Configurar versões de ambiente para pipelines

Importante

As versões de ambiente para SDP estão em Beta.

Uma versão de ambiente define a versão da linguagem Python e o conjunto de bibliotecas Python pré-instaladas disponíveis para o código Python do seu pipeline. Todas as dependências externas que você adicionar ao pipeline são adicionadas em camadas sobre esta base.

As versões de ambiente separam o runtime Python do pipeline da versão do Databricks Runtime em que o pipeline é executado. Enquanto uma versão do ambiente está definida, as atualizações do Databricks Runtime não alteram sua versão de linguagem Python ou versões de biblioteca pré-instaladas. O runtime de Python também é consistente com trabalhos sem servidor e notebooks que usam a mesma versão de ambiente. Para encontrar a versão atual do Databricks Runtime para o Lakeflow Spark Declarative Pipelines, consulte as notas de versão do Lakeflow Spark Declarative Pipelines e o processo de atualização de versão.

Importante

Pipelines com uma versão de ambiente executam código Python usando o Spark Connect. O Spark Connect altera o comportamento do código de pipeline. Antes de habilitar uma versão de ambiente em um pipeline existente, consulte a compatibilidade de versão do Ambiente para limitações, alterações de comportamento, a verificação de compatibilidade e o fluxo de trabalho de migração.

Requirements

As versões de ambiente têm os seguintes requisitos:

  • O pipeline deve usar o Catálogo do Unity. Não há suporte para pipelines de metastore do Hive.

Versões de ambiente com suporte

O SDP dá suporte às versões de ambiente 3 e 4 na computação clássica e sem servidor. Para obter a versão do idioma Python e a lista completa de bibliotecas de Python pré-instaladas disponíveis em cada versão, consulte a referência de versão environment.

Habilitar uma versão de ambiente em um pipeline

Você pode configurar uma versão de ambiente por meio da interface do usuário do editor de pipeline, da API REST do Pipelines ou dos Pacotes de Automação Declarativa.

Lembre-se de verificar a compatibilidade com o Spark Connect antes de habilitar uma versão de ambiente em um pipeline.

Habilitar por meio da interface do usuário

  1. No editor de pipeline, clique em Configurações.
  2. Em Ambiente de Pipeline, selecione ícone Lápis.Editar ambiente.
  3. Selecione uma versão do ambiente na lista suspensa.
  4. Salve as configurações de pipeline.

As dependências externas adicionadas na seção Ambiente do Pipeline são sobrepostas às bibliotecas incluídas na versão do ambiente selecionada. Consulte Gerenciar dependências do Python para pipelines.

Habilitar por meio da API

A API REST de Pipelines aceita um bloco environment na criação e na atualização de pipelines. A autenticação de Token de Acesso Pessoal deve ser habilitada para o workspace.

Para criar um pipeline com uma versão de ambiente:

curl --request POST \
  --url 'https://<workspace-host>/api/2.0/pipelines' \
  --header 'Authorization: Bearer <personal-access-token>' \
  --header 'Content-Type: application/json' \
  --data-raw '{
    "name": "<pipeline-name>",
    "catalog": "<catalog>",
    "schema": "<schema>",
    "channel": "CURRENT",
    "environment": {
      "environment_version": "4",
      "dependencies": [
        "simplejson==3.19.*"
      ]
    }
  }'

Para definir a versão do ambiente em um pipeline existente, envie o mesmo environment bloco com PUT /api/2.0/pipelines/<pipeline-id>.

Habilitar por meio de Pacotes de Automação Declarativa

Ao criar um pipeline usando Pacotes de Automação Declarativa, você pode definir uma versão de ambiente na definição yaml do pipeline.

  1. Verifique se a CLI do Databricks está na versão v0.294.0 ou posterior. Caso contrário, atualize seguindo o guia de instalação.
  2. Configure um pacote seguindo o tutorial do pacote de pipelines.
  3. Encontre o arquivo YAML do pipeline no seu pacote, normalmente <bundle-folder>/resources/<pipeline_name>_pipeline.yml.
  4. Defina os campos environment_version e dependencies no YAML do pipeline:
resources:
  pipelines:
    my_pipeline:
      name: my_pipeline
      catalog: ${var.catalog}
      schema: ${var.schema}
      root_path: '../src/my_pipeline'
      libraries:
        - glob:
            include: ../src/my_pipeline/transformations/**
      environment:
        environment_version: 4
        dependencies:
          - --editable ${workspace.file_path}

Verificar a versão do ambiente em um pipeline

Para verificar se uma versão do ambiente está configurada em um pipeline:

  • UI: abra as configurações do pipeline e verifique a seção Pipeline Environment ou inspecione, no painel JSON, o campo environment.environment_version.
  • API: chame GET /api/2.0/pipelines/<pipeline-id> e procure environment.environment_version na resposta.
  • Registro de eventos: inspecione o evento create_update do campo environment_version.

Desabilitar a versão do ambiente em um pipeline

Remova a versão do ambiente na seção Ambiente de Pipeline nas configurações de pipeline ou remova o campo environment_version do bloco environment na definição da API ou do bundle.

Quando a versão do ambiente é removida, o pipeline retorna à configuração de runtime Python anterior.

Consulte também

  • Last updated on