Gerir dependências usando ambientes

Important

Este recurso está em versão Beta. Os administradores de contas podem controlar o acesso a esta funcionalidade a partir da página de Pré-visualizações da consola de conta usando a opção Ambientes para Computação Padrão . Ver Gerir as pré-visualizações de Azure Databricks.

Num recurso de computação clássico que utiliza o modo de dependência de Ambientes , gere-se as dependências ao nível da carga de trabalho usando ambientes base em vez de instalar bibliotecas com escopo de computo.

As definições do ambiente mantêm-se isoladas das alterações ao nível dos recursos de computação, pelo que as cargas de trabalho não deixam de funcionar quando os recursos de computação subjacentes mudam. E como o Azure Databricks armazena em cache ambientes base, as dependências não se resolvem nem instalam no arranque, por isso o cálculo começa mais rápido e evita falhas na resolução de pacotes, disponibilidade de repositórios ou fiabilidade da rede.

Num bloco de notas anexado a um recurso de computação clássico que utiliza o modo de dependência Ambientes, selecione um ambiente de base e adicione dependências a partir do painel lateral Ambiente do bloco de notas. Para tarefas de trabalho, configure dependências com uma especificação de ambiente de trabalho.

Requerimentos

A definição do modo de dependência só está disponível em computação que cumpra os seguintes requisitos:

• Databricks Runtime 19 (Beta) ou superior
• Modo de acesso padrão
• Computação multiusos ou computação para tarefas clássicas

Para detalhes de suporte, consulte Limitações.

Definir o modo de dependência

Para criar um recurso de computação clássico que utiliza o modo de dependência de Ambientes:

1. Na barra lateral do espaço de trabalho, clique Computar e depois abra o separador de computação multifuncional .

2. Clique em Criar computação.

3. Em Desempenho, selecione 19 Beta ou superior no menu suspenso da versão de execução do Databricks.

4. Expanda a secção Avançada e depois clique em Dependências.

5. Para o modo Dependência, mantém Auto ativado para deixar o Azure Databricks resolver o modo, ou clica em Manual e seleciona Ambientes para o definires tu mesmo. Ver opções de modo de dependência.

   

6. Configura o resto do cálculo e depois clica em Criar.

Depois de o cálculo estar a correr, anexe um caderno e configure o seu ambiente conforme descrito em Utilizar ambientes num caderno.

Opções de modo de dependência

O controlo do modo de dependência tem duas definições que determinam como o modo é escolhido:

• Auto: O Azure Databricks resolve o modo com base na configuração de computação. É automaticamente resolvido como Ambientes, a menos que a computação especifique Docker, variáveis de ambiente do Spark ou scripts de inicialização, caso em que é resolvido como bibliotecas do cluster.
• Manual: Seleciona você mesmo Ambientes ou bibliotecas de clusters.

Ao selecionar Manual, escolha o modo que se adequa às suas necessidades:

• Ambientes: Gerir dependências ao nível da carga de trabalho usando ambientes base. Bibliotecas de cluster, Docker, variáveis de ambiente Spark e scripts de init estão desativados. Use este modo para isolar dependências para cada carga de trabalho.
• Bibliotecas de cluster: O comportamento clássico. Instale dependências no computador usando bibliotecas de cluster, scripts de init ou Docker. Usa este modo se a tua carga de trabalho exigir alguma dessas definições.

Atualizar um cálculo existente

Se estiver a editar as definições para computação existente, a mudança para o modo Ambientes é bloqueada se o computador tiver definições incompatíveis, como scripts de init, bibliotecas de cluster ou Docker. Se removeres primeiro as definições incompatíveis, podes depois editar o modo de dependência.

Ao mudar do modo Ambientes para o modo Bibliotecas do cluster, os blocos de notas anexados mantêm as suas seleções de ambiente, mas essas seleções ficam inativas. Se voltares a mudar a computação para o modo Ambientes , essas seleções voltam a estar ativas.

Usar ambientes num caderno

Para usar ambientes num caderno, associe o caderno a um recurso de computação clássico que utilize o modo de dependência de Ambientes . Depois de anexares o notebook, configura as dependências do notebook no painel lateral Ambiente.

Selecione um ambiente base

Um ambiente base determina as bibliotecas pré-instaladas e a versão do ambiente disponível para o seu portátil. O seletor de ambiente base no painel lateral de Ambiente é onde escolhes o teu ambiente. A Databricks recomenda usar a versão mais recente para obter as funcionalidades mais recentes do notebook. Para ver detalhes sobre cada versão do ambiente, consulte Versões do Ambiente.

O seletor de ambiente Base inclui as seguintes opções:

• Padrão: O ambiente base padrão com bibliotecas fornecidas pelo Databricks.
• ML: Um ambiente base com os pacotes de Python e sistema do Databricks Runtime for Machine Learning pré-instalados.
• Mais: Expande para mostrar opções adicionais:
  • Versões anteriores de ambientes Standard e ML.
  • Personalizado: Especifique um ambiente personalizado usando um ficheiro YAML.
• Ambientes de espaço de trabalho: Lista todos os ambientes base compatíveis configurados para o seu espaço de trabalho pelos administradores do espaço.

Adicionar dependências ao bloco de notas

O Azure Databricks armazena em cache o ambiente virtual do seu portátil, para que as dependências não se reinstalem sempre que reabre um caderno ou retoma após inatividade.

Para instalar individualmente uma dependência:

1. Na secção Dependências , introduza o caminho da dependência no campo e depois clique em +Adicionar dependência. Você pode especificar uma dependência em qualquer formato que seja válido em um arquivo requirements.txt . Ficheiros wheel do Python ou ficheiros de projeto Python (por exemplo, o diretório que contém um pyproject.toml ou um setup.py) podem ser localizados em ficheiros de armazém de trabalho ou volumes do Unity Catalog.

   • Se estiver usando um arquivo de espaço de trabalho, o caminho deve ser absoluto e começar com /Workspace/.
   • Se estiver usando um arquivo em um volume do Catálogo Unity, o caminho deverá estar no seguinte formato: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Clique em Apply para instalar as dependências e reiniciar o processo Python.

Important

Não instale o PySpark nem qualquer biblioteca que instale o PySpark como dependência nos seus notebooks. Isso interromperá sua sessão e resultará em um erro. Se isto acontecer, remova a biblioteca e reinicie o ambiente.

Para visualizar as dependências instaladas, clique no separador Instalado no painel lateral de Ambiente . Abra os registos de instalação do pip para o ambiente do bloco de notas clicando em pip logs na parte inferior do painel.

Usar ambientes numa tarefa

Para tarefas do trabalho que são executadas num recurso de computação clássico que utiliza o modo de dependência Environments, configure as dependências com uma especificação de ambiente do trabalho. Um ambiente de trabalho especifica um ambiente base e quaisquer dependências adicionais que uma ou mais tarefas possam referenciar.

Para configurar um ambiente para uma tarefa de trabalho, complete os seguintes passos:

1. Cria ou edita uma tarefa num trabalho.
2. Em Computação, selecione um recurso de computação clássico existente que utilize o modo de dependência Ambientes ou adicione computação clássica para tarefas.
3. Se adicionares o Classic Jobs Compute, expande o Advanced.
4. Clique em Dependências.
5. No modo de Dependência, selecione Manual e Ambientes, ou mantenha Auto se este corresponder a Ambientes.
6. Em Ambiente e Bibliotecas , na configuração da tarefa, configure um ambiente para a tarefa. Consulte Configurar ambiente para tarefas de trabalho para as opções disponíveis para cada tipo de tarefa.

Tarefas que correm num recurso de computação clássico que utiliza o modo de dependência de Ambientes não suportam a definição de tarefa de bibliotecas dependentes . Adiciona dependências ao ambiente em vez disso.

Limitations

O modo de dependência de Ambientes suporta cargas de trabalho e dependências em Python em cadernos interativos e tarefas de trabalho. Aplicam-se as seguintes limitações:

• As tarefas JAR do Spark não são suportadas num recurso de computação clássico que utilize o modo de dependência dos Ambientes .
• A execução do código %scala falha.
• Todas as limitações padrão do modo de acesso aplicam-se, incluindo a ausência de suporte para R. Consulte Requisitos e limitações de computação padrão.

Definições incompatíveis

Quando o modo de dependência de Ambientes está ativado, as seguintes definições de computação são desativadas:

• Docker (Azure Databricks Container Services)
• Variáveis do ambiente Spark
• Scripts de inicialização
• Bibliotecas de cluster