O que são os pools do Azure Databricks?

  • Artigo

Os pools do Azure Databricks são um conjunto de instâncias ociosas e prontas para uso. Quando os nós de cluster são criados usando as instâncias ociosas, os tempos de início e dimensionamento automático do cluster são reduzidos. Se o pool não tiver instâncias ociosas, o pool se expandirá alocando uma nova instância do provedor de instância para acomodar a solicitação do cluster.

Quando um cluster libera uma instância, ele retorna para o pool e é gratuito para outro cluster usar. Somente os clusters anexados a um pool podem usar as instâncias ociosas desse pool.

O Azure Databricks não cobra DBUs enquanto as instâncias estão ociosas no pool. A cobrança do provedor de instâncias se aplica. Confira o preço.

Você pode gerenciar pools usando a interface do usuário ou chamando a API de Pools de Instância.

Criar um pool

Para criar um pool, você deve ter permissão para criar pools. Por padrão, somente os administradores do workspace têm permissões de criação de pool. Os grupos podem receber o direito allow-instance-pool-create usando a API de Grupo.

Para criar um pool usando a interface do usuário:

  1. Clique em compute iconComputação na barra lateral.
  2. Clique na guia Pools.
  3. Clique no botão Criar Pool.
  4. Especifique a configuração do pool.
  5. Selecione o botão Criar.

Anexar um cluster a um pool

Para anexar um cluster a um pool usando a interface do usuário de criação de cluster, selecione o pool na lista suspensa Tipo Driver ou Tipo De Trabalho ao configurar o cluster. Os pools disponíveis são listados na parte superior de cada lista suspensa. Você pode usar o mesmo pool ou pools diferentes para o nó de driver e nós de trabalho.

Se você usar a API de clusters, deverá especificar driver_instance_pool_id para o nó de driver e instance_pool_id para os nós de trabalho.

Para obter mais das melhores práticas relacionadas a pools, consulte Melhores práticas de pool.

Permissões de pool

Há três níveis de permissão para um pool: SEM PERMISSÕES, PODE ANEXAR e PODE GERENCIAR. A tabela lista as habilidades de cada permissão.

Capacidade SEM PERMISSÕES PODE ANEXAR PODE GERENCIAR
Anexar o cluster ao pool x x
Excluir pool x
Editar o pool x
Modificar permissões x

Os administradores de workspace têm a permissão PODE GERENCIAR em todas as pastas de seu workspace. Os usuários têm automaticamente a permissão PODE GERENCIAR para os modelos que criam.

Configurar as permissões do pool

Esta seção descreve como gerenciar as permissões utilizando a interface do usuário do espaço de trabalho. Você também pode usar a API de Permissões ou o Provedor Terraform do Databricks.

Você deve ter a permissão PODE GERENCIAR em um pool para configurar permissões.

  1. Na barra lateral, clique em Computação.

  2. Clique na guia Pools.

  3. Selecione o pool que você deseja atualizar.

  4. Clique no botão Permissões.

  5. Em Configurações de permissão, clique no menu suspenso Selecionar usuário, grupo ou entidade de serviço... e selecione um usuário, grupo ou entidade de serviço.

    Set pool permissions

  6. Selecione uma permissão no menu suspenso de permissão.

  7. Clique em Adicionar e em Salvar.

Excluir um pool

A exclusão de um pool encerra as instâncias ociosas do pool e remove sua configuração. Para excluir um pool, clique no ícone Delete Icon nas ações da página Pools. Se você excluir um pool:

  • Os clusters em execução anexados ao pool continuam sendo executados, mas não podem alocar instâncias durante o redimensionamento ou escala vertical.
  • Os clusters encerrados anexados ao pool falharão ao iniciar.

Importante

Você não pode desfazer essa ação.