Implementar o Azure Databricks na sua rede virtual Azure (injeção de VNet)

Implemente o Azure Databricks no seu Azure VNet para permitir a personalização da rede, conectividade segura aos serviços Azure e fontes de dados locais, e capacidades de inspeção de tráfego.

Porquê utilizar a injeção de VNet

O VNet injection implementa recursos Azure Databricks classic compute plane no teu próprio VNet, habilitando:

  • Conectividade privada a serviços Azure usando endpoints de serviço ou endpoints privados
  • Acesso local por meio de rotas definidas pelo usuário
  • Inspeção de tráfego com dispositivos virtuais de rede
  • Configuração de DNS personalizada
  • Controle de tráfego de saída com regras NSG adicionais
  • Intervalos CIDR flexíveis (VNet: /16 até /24, sub-redes: até /26)

Requisitos de permissões

Permissões do Azure: O criador do espaço de trabalho deve ter a função de colaborador de rede na VNet, ou uma função personalizada com permissões Microsoft.Network/virtualNetworks/subnets/join/action e Microsoft.Network/virtualNetworks/subnets/write.

Configuração de VNet

  1. Deve configurar uma rede virtual para implementar o workspace do Azure Databricks. Você pode usar uma VNet existente ou criar uma nova. A rede virtual deve atender aos seguintes requisitos:
    • Region: O VNet deve residir na mesma região do espaço de trabalho Azure Databricks.
    • Subscrição: O VNet deve estar na mesma subscrição que o espaço de trabalho Azure Databricks.
    • Espaço de endereço: um bloco CIDR entre /16 e /24 para a VNet. Para obter orientação sobre nós máximos de cluster com base no tamanho da rede virtual, consulte Orientação de espaço de endereço.
    • Subnets: O VNet deve incluir duas subredes dedicadas ao seu espaço de trabalho Azure Databricks:
      • Uma sub-rede de contêiner (às vezes chamada de sub-rede privada)
      • Uma sub-rede de host (às vezes chamada de sub-rede pública)
      • Cada sub-rede deve usar um bloco CIDR que seja pelo menos /26. O Databricks não recomenda uma sub-rede menor que /26.
      • Não pode partilhar sub-redes entre espaços de trabalho nem implementar outros recursos do Azure nas subredes usadas pelo seu espaço de trabalho Azure Databricks.
      • Recomendamos que o tamanho das sub-redes coincida.
    • Conectividade Outbound para tráfego de saída: A Databricks recomenda o uso de um gateway NAT Azure em ambas as sub-redes para endereços IP de egressão estáveis. Após 31 de março de 2026, as novas redes virtuais exigem métodos explícitos de conectividade de saída. Consulte conectividade segura de cluster.
    • Regras do grupo de segurança de rede: consulte Regras do grupo de segurança de rede

Nota

Quando você implanta um espaço de trabalho usando conectividade de cluster segura, tanto a sub-rede de contêiner quanto a sub-rede de host usam IPs privados.

Orientações sobre o espaço de endereçamento

Um espaço de trabalho do Azure Databricks requer duas subredes no VNet: uma sub-rede de contentores e uma sub-rede anfitriã. Azure reserva cinco IPs em cada sub-rede. Azure Databricks requer dois endereços IP para cada nó do cluster: um endereço IP para o anfitrião na sub-rede do anfitrião e um endereço IP para o contentor na sub-rede do contentor.

Considere o seguinte ao planejar seu espaço de endereço:

  • Talvez você queira criar vários espaços de trabalho em uma única VNet. Como não é possível compartilhar sub-redes entre espaços de trabalho, planeje sub-redes que não usem o espaço total de endereços da VNet.
  • Aloque espaço de endereço para duas novas sub-redes que estão dentro do espaço de endereço da rede virtual e não sobrepõem o espaço de endereço das sub-redes atuais ou futuras nessa rede virtual.

Um espaço de trabalho com uma rede virtual menor pode ficar sem endereços IP (espaço de rede) mais rapidamente do que um espaço de trabalho com uma rede virtual maior. Use um bloco CIDR entre /16 e /24 para a VNet e um bloco CIDR até /26 para as duas sub-redes (a sub-rede do contentor e a sub-rede do host). Pode criar um bloco CIDR até /28 para as suas sub-redes, no entanto, Azure Databricks não recomenda uma sub-rede menor que /26.

Etapa 1: Criar um espaço de trabalho

Crie um espaço de trabalho no portal do Azure e implemente-o no seu VNet.

  1. No portal Azure, selecione + Criar um recurso > Analytics > Azure Databricks ou procure por Azure Databricks.

  2. Na guia Rede , selecione sua rede virtual.

    Importante

    Se o VNet não aparecer, verifica se o workspace e o VNet estão na mesma região do Azure.

  3. Configurar sub-redes com intervalos CIDR até /26 (máximo de 80 caracteres para nomes):

    • Sub-redes existentes: insira nomes exatos de sub-redes e intervalos de IP correspondentes
    • Novas sub-redes: insira novos nomes e intervalos de IP no espaço de endereço da sua rede virtual

    Nota

    Os intervalos CIDR de sub-rede não podem ser alterados após a implantação. Azure Databricks configura automaticamente as regras NSG e a delegação de sub-redes para Microsoft.Databricks/workspaces.

  4. Clique em Criar para implantar o espaço de trabalho.

Etapa 2: Verificar a implantação do espaço de trabalho

  1. Vá ao portal do Azure e navegue até ao seu recurso de trabalho do Azure Databricks.

  2. Na página Visão geral , verifique o seguinte:

    • O espaço de trabalho está em boas condições (não está com falhas).
    • O grupo de recursos e o grupo de recursos gerenciados são listados.
    • A peeragem de rede virtual está desativada (isso é esperado no contexto de injeção do VNet).

O grupo de recursos gerenciados não é modificável e não pode ser usado para criar máquinas virtuais. Crie máquinas virtuais no grupo de recursos que você gerencia.

Etapa 3: Verificar a configuração do grupo de segurança de rede

  1. No portal Azure, navegue até ao seu VNet.

  2. Clique em Sub-redes em Configurações.

  3. Verifique se a sub-rede do contêiner e a sub-rede do host possuem:

    • Um grupo de segurança de rede anexado
    • Delegação para Microsoft.Databricks/workspaces

  4. Clique no grupo de segurança de rede e verifique se as regras de entrada e saída necessárias estão configuradas. Para obter as regras esperadas, consulte Referência de regras de grupo de segurança de rede.

Etapa 4: Criar um cluster

Depois de criar seu espaço de trabalho, crie um cluster de computação clássico para verificar se a injeção de rede virtual está funcionando corretamente.

  1. Vá ao seu espaço de trabalho Azure Databricks e clique em Iniciar Espaço de Trabalho na página Visão Geral.

  2. Clique em ícone de computaçãoCalcular na barra lateral.

  3. Na página Computação, clique em Criar Cluster.

  4. Insira um nome de cluster, deixe os valores restantes em seu estado padrão e clique em Criar Cluster.

Depois que o cluster é executado, o grupo de recursos gerenciados contém novas máquinas virtuais, discos, endereços IP e interfaces de rede. Uma interface de rede é criada em cada uma das sub-redes públicas e privadas com endereços IP.

Etapa 5: Verificar a configuração da rede do cluster

  1. No seu espaço de trabalho Azure Databricks, vá ao grupo de recursos geridos no portal Azure.

  2. Verifique se os seguintes recursos existem:

    • Máquinas virtuais para os nós de cluster
    • Discos anexados às máquinas virtuais
    • Endereços IP para os nós do cluster
    • Interfaces de rede nas sub-redes públicas e privadas

  3. No seu espaço de trabalho do Azure Databricks, clique no cluster que criou.

  4. Navegue até a interface do usuário do Spark e clique na guia Executores .

  5. Verifique se os endereços IP do driver e dos executores estão na faixa da sub-rede privada. Por exemplo, se a sua sub-rede privada for 10.179.0.0/18, o driver pode ser 10.179.0.6 e os executores podem ser 10.179.0.4, 10.179.0.5. Os seus endereços IP podem ser diferentes.

Endereços IP de saída estáveis

Para espaços de trabalho com conectividade de cluster segura e injeção de VNet, o Databricks recomenda a configuração de um IP público de saída estável. IPs estáveis habilitam listas de permissões externas para serviços como Salesforce e listas de acesso IP.

Aviso

Após 31 de março de 2026, os novos VNets do Azure passam a usar configurações privadas sem acesso à internet de saída. Os novos espaços de trabalho do Azure Databricks requerem métodos explícitos de conectividade outbound, como um NAT Gateway. Os espaços de trabalho existentes não são afetados. Veja o anúncio de Microsoft.

Para configurar um IP de saída estável, consulte Saída com injeção de VNet.

Regras do grupo de segurança de rede

Azure Databricks auto-provisiona e gere as regras NSG listadas abaixo através da delegação de sub-rede para o serviço Microsoft.Databricks/workspaces. Essas regras são necessárias para a operação do espaço de trabalho. Não modifique nem exclua essas regras.

Nota

Algumas regras usam VirtualNetwork como origem e destino. As políticas de rede internas impedem a comunicação entre clusters, inclusive entre espaços de trabalho na mesma rede virtual.

A Databricks recomenda o uso de um NSG exclusivo para cada espaço de trabalho.

Importante

Adicione regras de negação aos Grupos de Segurança de Rede (NSGs) anexados a outras redes e sub-redes nas mesmas VNets ou em VNets emparelhadas. Aplicar regras de negação para ligações tanto de entrada como de saída para limitar o tráfego de e para recursos de computação do Azure Databricks. Permita apenas o acesso mínimo necessário para que seus clusters alcancem os recursos necessários.

Regras de grupo de segurança de rede para espaços de trabalho

Esta tabela lista as regras de grupo de segurança de rede para espaços de trabalho e inclui duas regras de grupo de segurança de entrada que são adicionadas somente se a conectividade de cluster seguro (SCC) estiver desabilitada.

Direção Protocolo Origem Porta de origem Destino Porto de Dest Usado
Entrada Qualquer Rede virtual Qualquer Rede virtual Qualquer Predefinido
Entrada TCP AzureDatabricks (etiqueta de serviço)
Apenas se o CCS estiver desativado		 Qualquer Rede virtual 22 IP público
Entrada TCP AzureDatabricks (etiqueta de serviço)
Apenas se o CCS estiver desativado		 Qualquer Rede virtual 5557 IP público
Saída TCP Rede virtual Qualquer AzureDatabricks (etiqueta de serviço) 443, 3306, 8443-8451 Predefinido
Saída TCP Rede virtual Qualquer Armazenamento 443 Predefinido
Saída Qualquer Rede virtual Qualquer Rede virtual Qualquer Predefinido
Saída TCP Rede virtual Qualquer Hub de Eventos 9093 Predefinido
Saída TCP Rede virtual Qualquer SQL 3306 Predefinido

Nota

Se você restringir as regras de saída, o Databricks recomenda que você abra as portas 111 e 2049 para habilitar determinadas instalações de biblioteca.

Nota

A Sql regra da etiqueta de serviço para a porta 3306 é obrigatória para espaços de trabalho criados com o modelo atual de provisionamento de rede. O Azure Databricks está a remover este requisito para espaços de trabalho recém-criados.

Importante

Azure Databricks é um serviço de primeira parte do Microsoft Azure implementado na infraestrutura Global Azure Public Cloud. Todas as comunicações entre componentes do serviço, incluindo entre os IPs públicos no plano de controlo e o plano de computação do cliente, permanecem dentro da espinha dorsal da rede Microsoft Azure. Veja também rede global da Microsoft.

Expandir a capacidade da rede virtual

Se a rede virtual do seu espaço de trabalho não tiver capacidade suficiente para nós de cluster ativos, você terá duas opções:

  • Atualizar configuração de VNet: este recurso está em Visualização pública. Consulte Atualizar configuração de rede do espaço de trabalho.
  • Expanda o seu intervalo atual de CIDR: Contacte a sua equipa de conta do Azure Databricks para solicitar uma ampliação do intervalo CIDR da sub-rede do espaço de trabalho.
  • Last updated on