Configurar o ambiente sem servidor

Esta página explica como usar o painel lateral Ambiente de um bloco de notas sem servidor para configurar dependências, políticas de uso sem servidor, memória e ambiente base. Este painel fornece um único local para gerenciar as configurações sem servidor do notebook. As definições configuradas neste painel só se aplicam quando o notebook está ligado a computação serverless.

Para expandir o painel lateral Ambiente , clique no botão à direita do bloco de anotações.

Utilize Tempo de Execução de IA (GPU sem servidor)

Important

O tempo de execução da IA está em Pré-visualização Pública.

Siga estes passos para configurar o AI Runtime, alimentado por computação GPU serverless, no seu portátil Databricks:

1. A partir de um portátil, clique no menu suspenso de computação no topo e selecione GPU Serverless.
2. Clique no para abrir o painel lateral Ambiente .
3. Selecione A10 no campo Acelerador .
4. No ambiente base, selecione Standard para o ambiente predefinido ou AI para o ambiente otimizado para IA com bibliotecas de machine learning pré-instaladas.
5. Clica em Aplicar e depois Confirma que queres aplicar o AI Runtime ao ambiente do teu portátil.

Para mais detalhes, consulte AI Runtime.

Use computação sem servidor de alta capacidade de memória

Important

Este recurso está no Public Preview.

Se encontrar erros de falta de memória no seu notebook, pode configurá-lo para utilizar uma capacidade de memória superior. Essa configuração aumenta o tamanho da memória REPL usada ao executar o código no notebook. Isso não afeta o tamanho da memória da sessão do Spark. O uso sem servidor com alta memória tem uma taxa de emissão de DBU mais alta do que a memória padrão.

As opções de memória disponíveis são:

• Padrão: 16 GB de memória total.
• Alta: 32 GB de memória total.

Para configurar a configuração de memória do computador portátil:

1. Na interface do caderno, clique no painel lateral .
2. Em Memória, selecione Memória alta.
3. Clique em Aplicar.

Essa configuração também se aplica a tarefas de trabalho do bloco de anotações, que são executadas usando as preferências de memória do bloco de anotações. A atualização da preferência de memória no caderno afeta a próxima execução do trabalho.

Selecione uma política de utilização sem servidor

Important

Este recurso está no Public Preview.

As políticas de utilização serverless permitem que a sua organização aplique etiquetas personalizadas ao uso serverless para a atribuição granular de faturação.

Se o seu espaço de trabalho usar políticas de utilização serverless para atribuir o uso serverless, pode selecionar a política de utilização serverless que pretende aplicar ao notebook. Se um utilizador estiver associado a apenas uma política de utilização serverless, essa política será selecionada por predefinição.

Pode selecionar a política de utilização sem servidor depois de o seu bloco de notas estar ligado à computação sem servidor a partir do painel Ambiente.

1. Na interface do caderno, clique no painel lateral .
2. Na política de utilização de serverless, selecione a política de utilização de serverless que pretende aplicar ao seu notebook.
3. Clique em Aplicar.

Quando esta configuração for concluída, todo o uso do notebook herda as etiquetas personalizadas da política de uso serverless.

Note

Se o seu notebook tiver origem num repositório Git ou não tiver uma política de utilização serverless atribuída, será utilizada por defeito a última política de utilização serverless escolhida quando for novamente associado à computação serverless.

Selecione um ambiente base

Um ambiente base determina as bibliotecas pré-instaladas e a versão do ambiente disponível para o seu portátil serverless. O seletor de ambiente Base no painel lateral de Ambiente fornece uma interface unificada para selecionar o seu ambiente. Para ver detalhes sobre cada versão de ambiente, consulte Versões de ambiente sem servidor. A Databricks recomenda usar a versão mais recente para obter as funcionalidades mais recentes do notebook.

O seletor de ambiente Base inclui as seguintes opções:

• Padrão: O ambiente base padrão com bibliotecas fornecidas pelo Databricks.
• IA: Um ambiente base otimizado para IA com bibliotecas de aprendizagem automática pré-instaladas. Esta opção aparece apenas quando um acelerador (GPU) é selecionado.
• Mais: Expande para mostrar opções adicionais:
  • Versões anteriores dos ambientes Standard e de IA.
  • Personalizado: Permite especificar um ambiente personalizado usando um ficheiro YAML.
• Ambientes de espaço de trabalho: Lista todos os ambientes base compatíveis configurados para o seu espaço de trabalho por um administrador.

Para selecionar um ambiente base:

1. Na interface do caderno, clique no painel lateral .
2. Em Ambiente Base, selecione um ambiente no menu suspenso.
3. Clique em Aplicar.

Adicionar dependências ao bloco de notas

Como o serverless não oferece suporte a políticas de computação ou scripts de inicialização, deve-se adicionar dependências personalizadas usando o painel lateral Ambiente. Você pode adicionar dependências individualmente ou usar um ambiente base compartilhável para instalar várias dependências.

Para adicionar individualmente uma dependência:

1. Na interface do caderno, clique no painel lateral .

2. Na seção Dependências , clique em Adicionar Dependência e insira o caminho da dependência no campo. Você pode especificar uma dependência em qualquer formato que seja válido em um arquivo requirements.txt . Ficheiros wheel do Python ou ficheiros de projeto Python (por exemplo, o diretório que contém um pyproject.toml ou um setup.py) podem ser localizados em ficheiros de armazém de trabalho ou volumes do Unity Catalog.

   • Se estiver usando um arquivo de espaço de trabalho, o caminho deve ser absoluto e começar com /Workspace/.
   • Se estiver usando um arquivo em um volume do Catálogo Unity, o caminho deverá estar no seguinte formato: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Clique em Aplicar. Isto instala as dependências no ambiente virtual do caderno e reinicia o processo em Python.

Important

Não instale o PySpark ou qualquer biblioteca que instale o PySpark como uma dependência em seus notebooks sem servidor. Isso interromperá sua sessão e resultará em um erro. Se isso ocorrer, remova a biblioteca e redefina seu ambiente.

Para visualizar as dependências instaladas, clique na guia Instalado no painel lateral Ambientes . Os logs de instalação do pip para o ambiente de notebook também estão disponíveis clicando em logs do pip na parte inferior do painel.

Criar uma especificação de ambiente personalizada

Você pode criar e reutilizar especificações de ambiente personalizadas.

1. Num portátil serverless, seleciona um ambiente base e adiciona quaisquer dependências que queiras instalar.
2. Clique no ícone do menu na parte inferior do painel do ambiente e, em seguida, clique em Exportar ambiente.
3. Salve a especificação como um arquivo de espaço de trabalho ou em um volume de catálogo Unity.

Para usar a sua especificação de ambiente personalizado num caderno, selecione Personalizado no menu suspenso do ambiente base, depois use o ícone de pasta para selecionar o seu ficheiro YAML.

Crie utilitários comuns para compartilhar em seu espaço de trabalho

O exemplo a seguir mostra como armazenar um utilitário comum em um arquivo de espaço de trabalho e adicioná-lo como uma dependência em seu bloco de anotações sem servidor:

1. Crie uma pasta com a seguinte estrutura. Verifique se os consumidores do seu projeto têm acesso apropriado ao caminho do arquivo:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Preencha pyproject.toml assim:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Adicione uma função ao init.py arquivo. Por exemplo:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Na interface do usuário do bloco de anotações, clique no ícone Ambiente do painel lateral .

5. Na seção Dependências , clique em Adicionar Dependência e insira o caminho do arquivo util. Por exemplo: /Workspace/helper_utils.

6. Clique em Aplicar.

Agora você pode usar a função em seu notebook:

from helpers import greet
print(greet('world'))

Isto resulta como:

Hello, world!

Redefinir as dependências do ambiente

Se o seu notebook estiver ligado a computação serverless, Databricks armazenará automaticamente em cache o conteúdo do ambiente virtual do notebook. Isto significa que, geralmente, não precisa de reinstalar as dependências Python especificadas no painel lateral Environment quando abre um notebook existente, mesmo que este tenha sido desconectado devido à inatividade.

O cache de ambientes virtuais em Python também se aplica a empregos. Quando um trabalho é executado, qualquer tarefa do trabalho que compartilha o mesmo conjunto de dependências que uma tarefa concluída nessa execução é mais rápida, pois as dependências necessárias já estão disponíveis.

Note

Se alterar a implementação de um pacote Python personalizado usado numa tarefa sem servidor, deve também atualizar o número de versão para que as tarefas possam adotar a implementação mais recente.

Para limpar o cache de ambiente e executar uma nova instalação das dependências especificadas no Ambiente no painel lateral de um notebook ligado a computação sem servidor, clique na seta ao lado de Aplicar e depois clique em Redefinir para padrões.

Se você instalar pacotes que quebram ou alteram o notebook principal ou o ambiente Apache Spark, remova os pacotes ofensivos e redefina o ambiente. Iniciar uma nova sessão não limpa todo o cache do ambiente.

Configurar repositórios de pacotes Python predefinidos

Os administradores de espaços de trabalho podem configurar repositórios de pacotes privados ou autenticados como a configuração pip padrão para blocos de notas sem servidor e os trabalhos sem servidor. Isto permite aos utilizadores instalar pacotes a partir de repositórios internos Python sem definir explicitamente index-url ou extra-index-url.

Para instruções, os administradores do espaço de trabalho podem consultar Configure repositórios de pacotes Python predefinidos.

Configurar ambiente para tarefas de trabalho

Para tipos de tarefas de trabalho, como notebook, script Python, roda Python, JAR ou tarefas DBT, as dependências da biblioteca são herdadas da versão do ambiente serverless. Para ver a lista de bibliotecas instaladas, consulte a secção Bibliotecas Python instaladas ou Bibliotecas Java e Scala instaladas da versão do ambiente que está a usar. Se uma tarefa exigir uma biblioteca que não esteja instalada, você poderá instalá-la a partir de arquivos de espaço de trabalho, volumes do Catálogo Unity ou repositórios de pacotes públicos.

Para cadernos com um ambiente de caderno existente, pode executar a tarefa usando o ambiente do caderno ou sobrepô-lo, selecionando um ambiente a nível de tarefa.

Important

A utilização de computação serverless para tarefas JAR está em Versão Beta Pública.

Para adicionar uma biblioteca ao criar ou editar uma tarefa de trabalho:

1. No menu pendente Ambiente e Bibliotecas, clique ao lado do ambiente Padrão ou clique + Adicionar novo ambiente.

   

2. Selecione a versão do ambiente na lista suspensa Versão do ambiente. Consulte as versões do ambiente sem servidor . Databricks recomenda escolher a versão mais recente para obter os recursos mais atualizados.

3. Na caixa de diálogo Configurar ambiente, clique em + Adicionar biblioteca.

4. Selecione o tipo de dependência no menu pendente em Bibliotecas.

5. Na caixa de texto Caminho do Ficheiro, insira o caminho para a biblioteca.

   • Para um Wheel do Python num ficheiro de espaço de trabalho, o caminho deve ser absoluto e começar com /Workspace/.
   • Para uma roda Python num volume do Unity Catalog, o caminho deve ser /Volumes/<catalog>/<schema>/<volume>/<path>.whl.
   • Para um arquivo requirements.txt, selecione PyPi e digite -r /path/to/requirements.txt.

   

6. Clique em Confirmar ou + Adicionar biblioteca para adicionar outra biblioteca.

7. Se estiver a adicionar uma tarefa, clique em Criar tarefa. Se estiver editando uma tarefa, clique em Salvar tarefa.

Ambientes base para tarefas de trabalho

Os trabalhos serverless suportam ambientes base personalizados definidos com ficheiros YAML para tarefas em Python, roda Python e notebooks. Para tarefas de caderno, pode selecionar um ambiente base personalizado na configuração do ambiente do trabalho ou usar as definições do ambiente do caderno, que suportam tanto ambientes de trabalho como ambientes de base personalizados. Em todos os casos, apenas as dependências necessárias para a tarefa são instaladas em tempo de execução. Podes selecionar um ambiente base personalizado diretamente nas definições do ambiente do trabalho. Para criar um ambiente base personalizado, veja Criar uma especificação de ambiente personalizado.

Ambientes de base gerida em empregos

Important

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Visualizações . Ver Gerir pré-visualizações Azure Databricks.

Pode selecionar ambientes base geridos diretamente nas definições de ambiente do trabalho. Isto inclui ambientes base de espaço de trabalho configurados por um administrador de espaço de trabalho e ambientes base fornecidos por Azure Databricks, como Standard e AI. Estes são os mesmos ambientes base disponíveis no seletor de ambientes de notebook. Para obter informações sobre como criar e gerir ambientes base de espaço de trabalho, consulte Gerir ambientes base de espaço de trabalho serverless.

Ambientes de base gerida são suportados para tarefas de cadernos, scripts Python e rodas em Python. Não são suportados para tarefas JAR.

Compatibilidade entre ambiente e computação

O ambiente base que seleciona deve ser compatível com o tipo de computação da tarefa. Por exemplo, um ambiente construído para computação por GPU não é compatível com computação por CPU. Na interface de jobs, ambientes incompatíveis aparecem desativados no menu suspenso do ambiente base.

Quando configuras uma tarefa de portátil, o tipo de computação (CPU ou GPU) e o ambiente base podem vir tanto das definições do trabalho como das definições do portátil.

• Se definir um acelerador de hardware (GPU) a nível de tarefa, também deve selecionar um ambiente base a nível de tarefa. Não pode usar o ambiente do notebook com um acelerador a nível de tarefa.
• Se mudar o tipo de computação do portátil (por exemplo, de CPU para GPU) após criar um trabalho que o referencia, as tarefas existentes podem tornar-se incompatíveis com o ambiente configurado. Revise as definições do ambiente do seu trabalho depois de alterar a configuração de computação do portátil.
• Para utilizadores de API, se o ambiente base estiver definido no nível do trabalho mas o tipo de computação for herdado do notebook, a compatibilidade é validada em tempo de execução e não à criação do trabalho. Se a configuração for incompatível, a execução falha com um erro.