Configurar um firewall para acesso à computação sem servidor

Artigo
05/10/2024

Nota

Se você configurou firewalls de armazenamento usando IDs de sub-rede da documentação do Azure Databricks antes de 31 de outubro de 2023, o Databricks recomenda que você atualize os espaços de trabalho seguindo as etapas neste artigo ou usando um ponto de extremidade privado. Se você optar por não atualizar os espaços de trabalho existentes, eles continuarão a funcionar sem alterações.

Este artigo descreve como configurar um firewall de armazenamento do Azure para computação sem servidor usando a interface do usuário do console de conta do Azure Databricks. Você também pode usar a API de Configurações de Conectividade de Rede.

Para configurar um ponto de extremidade privado para acesso de computação sem servidor, consulte Configurar conectividade privada de computação sem servidor.

Nota

Atualmente, não há cobranças de rede para recursos sem servidor. Em uma versão posterior, você pode ser cobrado. O Azure Databricks fornecerá aviso prévio para alterações de preços de rede.

Visão geral da ativação do firewall para computação sem servidor

A conectividade de rede sem servidor é gerenciada com configurações de conectividade de rede (NCCs). Os administradores de conta criam NCCs no console da conta e um NCC pode ser anexado a um ou mais espaços de trabalho

Um NCC contém uma lista de identidades de rede para um tipo de recurso do Azure como regras padrão. Quando um NCC é anexado a um espaço de trabalho, a computação sem servidor nesse espaço de trabalho usa uma dessas redes para conectar o recurso do Azure. Você pode permitir listar essas redes em seu firewall de recursos do Azure.

A ativação do firewall NCC só é suportada por armazéns SQL sem servidor para fontes de dados gerenciadas por você. Ele não é suportado por outros recursos de computação no plano de computação sem servidor.

Opcionalmente, você pode configurar o acesso à rede para sua conta de armazenamento de espaço de trabalho somente de redes autorizadas, incluindo armazéns SQL sem servidor. Consulte Ativar suporte de firewall para sua conta de armazenamento de espaço de trabalho. Quando um NCC é anexado a um espaço de trabalho, as regras de rede são adicionadas automaticamente à conta de armazenamento do Azure para a conta de armazenamento do espaço de trabalho.

Para obter mais informações sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.

Implicações de custo do acesso ao armazenamento entre regiões

Para tráfego entre regiões de armazéns SQL sem servidor do Azure Databricks (por exemplo, o espaço de trabalho está na região Leste dos EUA e o armazenamento ADLS está na Europa Ocidental), o Azure Databricks roteia o tráfego por meio de um serviço de Gateway NAT do Azure.

Importante

Atualmente, não há cobranças para usar esse recurso. Em uma versão posterior, você pode ser cobrado pelo uso. Para evitar essas cobranças, o Databricks recomenda que você crie um espaço de trabalho na mesma região do seu armazenamento.

Requisitos

Seu espaço de trabalho deve estar no plano Premium.
Você deve ser um administrador de conta do Azure Databricks.
Cada NCC pode ser anexado a até 50 espaços de trabalho.
Cada conta do Azure Databricks pode ter até 10 NCCs por região.
- Você deve ter WRITE acesso às regras de rede da sua conta de armazenamento do Azure.

Etapa 1: Criar uma configuração de conectividade de rede e copiar IDs de sub-rede

A Databricks recomenda o compartilhamento de NCCs entre espaços de trabalho na mesma unidade de negócios e aqueles que compartilham a mesma região e propriedades de conectividade. Por exemplo, se alguns espaços de trabalho usam firewall de armazenamento e outros espaços de trabalho usam a abordagem alternativa de Link Privado, use NCCs separados para esses casos de uso.

Como administrador de conta, aceda à consola da conta.
Na barra lateral, clique em Recursos de nuvem.
Clique em Configuração de Conectividade de Rede.
Clique em Adicionar configurações de conectividade de rede.
Digite um nome para o NCC.
Escolha a região. Isso deve corresponder à região do seu espaço de trabalho.
Clique em Adicionar.
Na lista de NCCs, clique no seu novo NCC.
Em Regras Padrão, em Identidades de rede, clique em Exibir tudo.
Na caixa de diálogo, clique no botão Copiar sub-redes e salve a lista de sub-redes.
Clique em Fechar.

Etapa 3: Anexar um NCC aos espaços de trabalho

Você pode anexar um NCC a até 50 espaços de trabalho na mesma região que o NCC.

Para usar a API para anexar um NCC a um espaço de trabalho, consulte a API de espaços de trabalho de conta.

Na barra lateral do console da conta, clique em Espaços de trabalho.
Clique no nome do seu espaço de trabalho.
Clique em Atualizar espaço de trabalho.
No campo Configuração de Conectividade de Rede , selecione seu NCC. Se não estiver visível, confirme se selecionou a mesma região para o espaço de trabalho e o NCC.
Clique em Atualizar.
Aguarde 10 minutos para que a alteração entre em vigor.
Reinicie todos os armazéns SQL sem servidor em execução no espaço de trabalho.

Se você estiver usando esse recurso para se conectar à conta de armazenamento do espaço de trabalho, sua configuração será concluída. As regras de rede são adicionadas automaticamente à conta de armazenamento do espaço de trabalho. Para contas de armazenamento adicionais, continue para a próxima etapa.

Etapa 3: bloquear sua conta de armazenamento

Se ainda não tiver limitado o acesso à conta de armazenamento do Azure apenas a redes listadas como permitidas, faça-o agora. Não é necessário executar esta etapa para a conta de armazenamento do espaço de trabalho.

A criação de um firewall de armazenamento também afeta a conectividade do plano de computação clássico com seus recursos. Você também deve adicionar regras de rede para se conectar às suas contas de armazenamento a partir de recursos de computação clássicos.

Aceda ao portal do Azure.
Navegue até sua conta de armazenamento para a fonte de dados.
No painel de navegação esquerdo, clique em Rede.
No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Enabled de todas as redes. Altere para Ativado a partir de redes virtuais e endereços IP selecionados.

Etapa 4: Adicionar regras de rede da conta de armazenamento do Azure

Não é necessário executar esta etapa para a conta de armazenamento do espaço de trabalho.

Adicione uma regra de rede de conta de armazenamento do Azure para cada sub-rede. Você pode fazer isso usando a CLI do Azure, PowerShell, Terraform ou outras ferramentas de automação. Observe que essa etapa não pode ser feita na interface do usuário do Portal do Azure.

O seguinte exemplo utiliza a CLI do Azure:
```
az storage account network-rule add --subscription "<sub>" \
    --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
```
- Substitua <sub> pelo nome da sua assinatura do Azure para a conta de armazenamento.
- Substitua <res> pelo grupo de recursos da sua conta de armazenamento.
- Substitua <account> pelo nome da sua conta de armazenamento
- Substitua <subnet> pelo ID de recurso ARM (resourceId) da sub-rede do SQL warehouse sem servidor.
Depois de executar todos os comandos, você pode usar o portal do Azure para exibir sua conta de armazenamento e confirmar se há uma entrada na tabela Redes Virtuais que representa a nova sub-rede. No entanto, você não pode fazer as alterações de regras de rede no portal do Azure.

Gorjeta

Ignore a menção de "Permissões insuficientes" na coluna de status do ponto final ou o aviso abaixo da lista de rede. Eles indicam apenas que você não tem permissão para ler as sub-redes do Azure Databricks, mas isso não interfere na capacidade dessa sub-rede sem servidor do Azure Databricks entrar em contato com seu armazenamento do Azure.
Repita este comando uma vez para cada sub-rede. Opcionalmente, você pode automatizar o processo de criação de regras de rede. Consulte Automatizar a criação de regras de rede.
Para confirmar se sua conta de armazenamento usa essas configurações do portal do Azure, navegue até Rede em sua conta de armazenamento.

Confirme se o Acesso à rede pública está definido como Ativado a partir de redes virtuais selecionadas e se os endereços IP e as redes permitidas estão listados na secção Redes Virtuais.

Automatize a criação de regras de rede

Você pode automatizar a criação de regras de rede para sua conta de armazenamento usando a CLI do Azure ou o Powershell.

Este exemplo da CLI do Azure usa duas sub-redes em uma lista que você pode usar com um loop para executar o comando para cada sub-rede. Neste exemplo, mystorage-rg é o grupo de recursos e myaccount é a conta de armazenamento.

#!/bin/bash
SUBNETS=(/subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos2/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet /subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos3/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet)
for SUBNET in ${SUBNETS[@]}
do
  az storage account network-rule add --subscription 9999999-1ff3-43f4-b91e-d0ceb97111111 --resource-group mystorage-rg --account-name myaccount --subnet ${SUBNET}
done

Para usar o Powershell, use o seguinte comando:

Add-AzStorageAccountNetworkRule -ResourceGroupName <resource group name> -Name <storage account name> -VirtualNetworkResourceId <subnets>

Substituir:

<resource group name> com o grupo de recursos da sua conta de armazenamento.
<storage account name> pelo nome da sua conta de armazenamento.
<subnets> com uma lista dos IDs de recursos de sub-rede separados por vírgulas.

Share via