Usar Shared Serverless para pastas e pacotes Git

Importante

Esse recurso está em Beta. Para usá-lo, um administrador de espaço de trabalho deve ativar Project-Scoped Shared Compute na página Previews. Consulte Gerenciar visualizações do Azure Databricks.

Com o Serverless Compartilhado, notebooks e arquivos na mesma pasta Git ou bundle compartilham computação serverless e um ambiente Python no editor. Para personalizar o ambiente, adicione um arquivo pyproject.toml na raiz da pasta. Escolha a opção de processamento para sua pasta ou pacote Git:

• Pastas Git, com Serverless Compartilhado para Pastas Git.
• Pacotes de Automação Declarativa, com Serverless Compartilhado para Pacotes de Ativos.

Requirements

• Seu espaço de trabalho deve atender aos requisitos de computação serverless.
• Abra sua pasta Git ou bundle no editor de pasta Git ou no editor de bundles. Veja Criar e gerenciar pastas Git e Criar pacotes no espaço de trabalho.
• Serverless compartilhado requer ambiente serverless versão 5 ou superior.

Computação e ambiente compartilhados

• Notebooks e arquivos na mesma pasta Git ou bundle compartilham computação e um ambiente Python no editor. Um arquivo opcional pyproject.toml na raiz da pasta define o ambiente compartilhado.
• Apenas notebooks e arquivos dentro da pasta ou bundle Git associado podem se conectar ao seu recurso de computação compartilhado.
• Recursos de computação compartilhados são isolados por usuário. Somente o usuário que primeiro anexa um notebook ou arquivo a um recurso de computação compartilhado pode executar cargas de trabalho nele.
• A execução no Notebook permanece isolada. Variáveis em Python definidas em um caderno não estão disponíveis em outro caderno.
• Um terminal web aberto a partir de um notebook ou arquivo conectado roda no mesmo recurso de computação.

Serverless compartilhado para pastas Git

Use o Shared Serverless para Pastas Git para trabalhar com notebooks e arquivos em uma pasta Git.

Anexe notebooks e arquivos no editor da pasta Git

1. Na barra lateral do workspace, clique em Workspace e navegue até a pasta Git.

2. Clique em Abrir no editor.

3. Abra um caderno ou arquivo na pasta Git.

4. Clique no menu suspenso Compute.

5. Selecione Shared Serverless para pastas Git.

   

6. Execute o notebook ou arquivo para iniciar o recurso de computação.

Para usar o mesmo ambiente de computação de outro notebook ou arquivo, abra-o na mesma pasta Git e selecione Shared Serverless para pastas Git.

Colabore via Git

O Databricks recomenda que cada colaborador clone o repositório em uma pasta Git em sua pasta pessoal de workspace. Cada colaborador então recebe um recurso computacional e um ambiente separados para o seu clone.

Use branches, commits, pushes e pulls para trocar alterações por meio do repositório Git remoto. Veja Colaborar nas pastas Git.

Serverless Compartilhado para Pacotes de Ativos

Use Shared Serverless para Asset Bundles para trabalhar com notebooks e arquivos em um bundle no workspace. A raiz do bundle contém databricks.yml e pode conter um pyproject.toml arquivo que define o ambiente compartilhado.

Anexe notebooks e arquivos no editor de pacotes

1. Na barra lateral do espaço de trabalho, clique em Workspace e navegue até o bundle.
2. À direita do nome do pacote, clique em Abrir no editor.
3. Abra um notebook ou arquivo no bundle.
4. Clique no menu suspenso Compute.
5. Selecione Serverless Compartilhado para pacotes de ativos.
6. Execute o notebook ou arquivo para iniciar o recurso de computação.

Para usar o mesmo compute de outro notebook ou arquivo, abra-o no mesmo bundle e selecione Serverless Compartilhado para Asset Bundles.

Para colaborar pelo Git, peça para cada colaborador clonar o repositório em uma pasta Git em sua pasta pessoal de workspace. Veja Colaborar pelo Git.

Gerencie o ambiente com pyproject.toml

O Serverless compartilhado usa o arquivo pyproject.toml na pasta Git ou na raiz do bundle para gerenciar dependências de Python para o projeto. Notebooks serverless padrão usam dependências configuradas para cada notebook no painel lateral Ambiente.

Crie o arquivo raiz pyproject.toml e defina a versão do ambiente serverless antes de gerenciar suas dependências. Veja Criação e edição pyproject.toml. Você pode então adicionar dependências com comandos do notebook ou editar o arquivo diretamente.

Use comandos de caderno

1. Abra um caderno vinculado ao Serverless Compartilhado para pastas Git ou Serverless Compartilhado para Pacotes de Ativos.

2. Execute %uv add <package> para adicionar uma dependência ao arquivo raiz.pyproject.toml Por exemplo:

   %uv add cowsay
   

O comando atualiza pyproject.toml, uv.lock, e o ambiente compartilhado. Você não precisa executar %uv sync após %uv add. Use %uv sync para aplicar as alterações feitas diretamente em pyproject.toml.

Criar e editar pyproject.toml

1. Abra um caderno vinculado ao Shared Serverless for Git Folders ou Shared Serverless for Asset Bundles.

2. Abra o painel lateral Environment.

3. No painel Gerenciado por pyproject.toml, clique em Criar pyproject.toml para criar o arquivo raiz. Se o arquivo já existir, clique Visualizar pyproject.toml. O arquivo abre no editor.

   

4. Edite a dependencies lista. Mantenha a seção gerada [tool.databricks.environment], ou adicione a seção se estiver faltando. Configure environment_version para uma versão suportada (5 ou superior). Por exemplo:

   [project]
   name = "my-project"
   version = "0.1.0"
   dependencies = [
     "simplejson==3.18.1",
   ]
   
   [tool.databricks.environment]
   environment_version = "5"
   

5. Clique em Aplicar no topo do editor de pyproject.toml arquivos.

   

O ambiente atualizado está disponível para notebooks e arquivos anexados ao mesmo recurso de computação compartilhado. Para inspecionar o ambiente, abra o painel lateral do Ambiente . Veja Configurar o ambiente serverless para informações sobre versões e dependências instaladas do ambiente serverless.

Agende um notebook

Quando você agenda um notebook anexado ao Shared Serverless a partir da pasta Git ou do editor de bundles, o Azure Databricks usa o arquivo raiz pyproject.toml como ambiente de projeto da tarefa, caso o arquivo exista. Implante o pacote conforme descrito nos passos a seguir.

1. No editor de pastas ou pacotes Git, abra um notebook ligado ao Shared Serverless.
2. Se a pasta ou bundle Git tiver um arquivo pyproject.toml raiz, verifique se ele declara as dependências necessárias para a tarefa.
3. Clique em Agendar.
4. Na lista suspensa Compute , selecione computação serverless.
5. Configure o agendamento e clique em Criar.

Depois de clicar em Criar, verifique a configuração do job:

• Pasta Git: Se a pasta Git tiver um arquivo raiz, pyproject.toml verifique que Project environment na configuração da tarefa do trabalho aponta para ele. Para alterar a seleção, veja Configurar ambiente para tarefas do job.

• Pacote: O editor de pacote abre um arquivo YAML de trabalho gerado na pasta resources/.

  1. Se o bundle tiver um arquivo pyproject.toml raiz, verifique se project_environment, em spec do ambiente, aponta para ele, em relação ao arquivo YAML gerado. Veja : Configurar um ambiente de projeto em um pacote.
  2. Implante o pacote para criar o job.

  Os cronogramas são pausados por padrão no modo de desenvolvimento. Consulte os modos de implantação de Pacotes de Automação Declarativa.

Para opções de agendamento de notebooks, veja Criar e gerenciar trabalhos de notebook agendados.

Limitations

• O compartilhamento de computação se restringe a uma política de uso serverless. Notebooks e arquivos na mesma pasta ou pacote Git que usam políticas de uso diferentes recebem recursos de computação separados em vez de compartilhar um.

Recursos adicionais

• Computação sem servidor para notebooks
• Configurar o ambiente sem servidor
• Criar e gerenciar pastas do Git
• Executar comandos do shell no terminal da web
• Pacotes de Automação Declarativa