Gerenciar dependências usando ambientes

Important

Esse recurso está em Beta. Administradores de conta podem controlar o acesso a esse recurso a partir da página de Pré-visualizações do console de conta usando a opção Ambientes para Computação Padrão . Consulte Gerenciar visualizações do Azure Databricks.

Na computação clássica, o modo de dependência de Ambientes permite gerenciar dependências no nível da carga de trabalho usando ambientes base , em vez de instalar bibliotecas com escopo computacional. Este é o mesmo modelo usado por computação sem servidor.

As configurações de ambiente permanecem isoladas das alterações feitas no nível da computação, de maneira que as cargas de trabalho não sejam afetadas quando a computação subjacente mudar. E como o Azure Databricks mantém os ambientes base em cache, as dependências não precisam ser resolvidas nem instaladas na inicialização, o que faz com que a computação seja iniciada mais rapidamente e evita falhas decorrentes da resolução de pacotes, da disponibilidade de repositórios ou da confiabilidade da rede.

Depois de se conectar a um recurso de computação que usa o modo de dependência Ambientes, você pode selecionar um ambiente base e adicionar dependências no painel lateral Ambiente do notebook. Consulte Usar ambientes em um notebook.

Requirements

A configuração do modo de dependência está disponível apenas em computação que atenda aos seguintes requisitos:

• Databricks Runtime 19 (Beta) ou superior
• Modo de acesso padrão
• Computação multiuso executada em notebooks interativos

Para detalhes de suporte, veja Limitações.

Defina o modo de dependência

Para criar uma computação que usa o modo de dependência Ambientes:

1. Na barra lateral do espaço de trabalho, clique no Computação e depois abra a aba Computação de uso geral.

2. Clique em Criar computação.

3. Em Desempenho, selecione 19 Beta ou superior no menu suspenso da versão do Databricks Runtime.

4. Expanda a seção Avançada e clique em Dependências.

5. Para o modo Dependência, mantenha o Auto ativado para que o Azure Databricks resolva o modo, ou clique em Manual e selecione Ambientes para configurá-lo você mesmo. Veja Opções do modo de dependência.

   

6. Configure o restante do cálculo e clique em Criar.

Após a execução do cálculo, conecte um caderno e configure seu ambiente conforme descrito em Usar ambientes em um caderno.

Opções de modo de dependência

O controle do modo Dependência possui duas configurações que determinam como o modo é escolhido:

• Auto: Azure Databricks resolve o modo com base na configuração de computação. Auto é resolvido para Ambientes , a menos que a computação especifique Docker, variáveis de ambiente Spark ou scripts init, quando resolve para Bibliotecas de clusters.
• Manual: Você seleciona Ambientes ou bibliotecas do cluster sozinho.

Ao selecionar Manual, escolha o modo que melhor se encaixa nas suas necessidades:

• Ambientes: Gerencie dependências no nível da carga de trabalho usando ambientes base. Bibliotecas de cluster, Docker, variáveis de ambiente Spark e scripts de entrada estão desativados. Use este modo para uma experiência consistente e portátil com dependências que corresponde à computação sem servidor.
• Bibliotecas de cluster: O comportamento clássico. Instale dependências no compute usando bibliotecas de cluster, scripts de entrada ou Docker. Use esse modo se sua carga de trabalho exigir alguma dessas configurações.

Atualize um cálculo existente

Se você estiver editando as configurações para computação existente, a mudança para o modo Ambientes é bloqueada se a computação tiver configurações incompatíveis, como scripts de init, bibliotecas de cluster ou Docker. Se você remover as configurações incompatíveis primeiro, pode então editar o modo de dependência.

Se você mudar para o modo Cluster de bibliotecas a partir do modo Ambientes , os notebooks conectados mantêm suas seleções de ambiente, mas essas escolhas ficam inativas. Se você recolocar a computação em modo Ambientes, essas seleções voltarão a ser ativas.

Usar ambientes em um notebook

Para usar Ambientes em um notebook, anexe o notebook a um recurso de computação clássico que usa o modo de dependência Ambientes. Depois de anexar o notebook, você pode configurar as dependências do notebook no painel lateral ambienteAmbiente, da mesma forma que você faz na computação sem servidor.

Selecione um ambiente base

Um ambiente base determina as bibliotecas pré-instaladas e a versão do ambiente disponível para o seu notebook. O seletor de ambiente base no painel lateral ambiente é onde você escolhe seu ambiente. O Databricks recomenda usar a versão mais recente para obter os recursos de notebook mais atualizados. Para ver detalhes sobre cada versão do ambiente, veja Versões do Ambiente.

O seletor de ambiente base inclui as seguintes opções:

• Padrão: o ambiente base padrão com bibliotecas fornecidas pelo Databricks.
• ML: um ambiente base com o Python e os pacotes do sistema do Databricks Runtime para Machine Learning pré-instalados.
• Mais: expande para mostrar opções adicionais:
  • Versões anteriores dos ambientes Standard e ML.
  • Personalizado: especifique um ambiente personalizado usando um arquivo YAML.
• Ambientes de Workspace: Lista todos os ambientes base compatíveis configurados para o seu workspace pelos administradores do workspace.

Adicionar dependências ao notebook

O Azure Databricks mantém em cache o ambiente virtual do seu notebook, fazendo com que as dependências não sejam reinstaladas sempre que você reabrir um notebook ou retomar o uso após um período de inatividade.

Para instalar individualmente uma dependência:

1. Na seção Dependências , insira o caminho da dependência no campo e clique em +Adicionar dependência. Você pode especificar uma dependência em qualquer formato que seja válido em um arquivo requirements.txt. Arquivos de roda do Python ou projetos do Python (por exemplo, o diretório que contém um pyproject.toml ou um setup.py) podem estar localizados em arquivos de workspace ou volumes do Catálogo do Unity.

   • Se estiver usando um arquivo de workspace, o caminho deverá ser absoluto e começar com /Workspace/.
   • Se estiver usando um arquivo em um volume do Catálogo do Unity, o caminho deverá estar no seguinte formato: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Clique em Apply para instalar as dependências e reiniciar o processo de Python.

Important

Não instale o PySpark nem qualquer biblioteca que o utilize como dependência dos seus notebooks. Isso interromperá sua sessão e resultará em um erro. Se isso acontecer, remova a biblioteca e reinicie seu ambiente.

Para ver as dependências instaladas, clique na guia Installed no painel lateral Environment. Para abrir os logs de instalação do pip para o ambiente de notebook, clique em logs do pip na parte inferior do painel.

Limitations

O modo de dependência Ambientes dá suporte a cargas de trabalho e dependências em Python em notebooks interativos. As seguintes limitações se aplicam:

• Jobs clássicos não usam o modo de dependência Ambientes. Quando um job é executado em computação clássica de uso geral que especifica o modo Environments, a configuração é ignorada, e o job é executado no modo Cluster libraries.
• %scala O código não é suportado e vai falhar.
• Todas as limitações padrão do modo de acesso se aplicam, incluindo a ausência de suporte para R. Veja Requisitos e limitações de computação padrão.

Configurações incompatíveis

Quando o modo de dependência de Ambientes está ativado, as seguintes configurações de computação são desativadas:

• Docker (Azure Databricks Container Services)
• Variáveis do ambiente Spark
• Scripts de inicialização
• Bibliotecas de cluster