Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Esta página descreve como configurar um firewall de armazenamento do Azure para computação sem servidor usando a interface do usuário do console da conta do Azure Databricks. Você também pode usar a API de Configurações de Conectividade de Rede.
Para configurar um ponto de extremidade privado para acesso de computação sem servidor, consulte Configurar conectividade privada com recursos do Azure.
Importante
A partir de 4 de dezembro de 2024, o Azure Databricks começou a cobrar por custos de rede associados a cargas de trabalho sem servidor que se conectam aos recursos do cliente. No momento, você é cobrado por encargos de ponto de extremidade privado por hora pelos seus recursos. Os encargos de processamento de dados para conexões de Link Privado são dispensados indefinidamente. A cobrança por outros custos de rede será distribuída gradualmente, incluindo:
- Conectividade pública com seus recursos, como por um gateway da NAT.
- Encargos de transferência de dados, como quando a computação sem servidor e o recurso de destino residem em regiões diferentes.
Os encargos não serão aplicados retroativamente.
Consulte Noções básicas sobre os custos de rede sem servidor do Databricks.
Visão geral da habilitação do firewall para computação sem servidor
A conectividade de rede sem servidor é gerenciada com as NCCs (configurações de conectividade de rede). Os administradores de conta criam NCCs no console da conta, e um NCC pode ser anexado a um ou mais ambientes de trabalho. Os NCCs são estruturas regionais no nível da conta que são usadas para gerenciar a criação de endpoints privados e a ativação do firewall em escala.
Um NCC define as identidades de rede para recursos do Azure como regras padrão. Quando um NCC é anexado a um workspace, a computação sem servidor nesse workspace usa uma dessas redes para se conectar ao recurso do Azure. Você pode permitir a lista dessas redes em seus firewalls de recursos do Azure. Para firewalls de recursos do Azure que não são de armazenamento, entre em contato com sua equipe de conta para saber mais sobre como usar IPs NAT estáveis.
Há suporte para habilitação do firewall NCC a partir de armazéns SQL sem servidor, trabalhos, notebooks, Pipelines Declarativos do Lakeflow e pontos de extremidade para rastreamento de modelos.
Você também pode restringir o acesso à conta de armazenamento do workspace a redes autorizadas, incluindo computação sem servidor. Quando um NCC é anexado, suas regras de rede são adicionadas automaticamente à conta de armazenamento do espaço de trabalho. Consulte Habilite o suporte de firewall para sua conta de armazenamento do seu espaço de trabalho.
Para obter mais informações sobre NCCs, consulte O que é uma NCC (configuração de conectividade de rede)?.
Implicações de custo do acesso ao armazenamento entre regiões
O firewall só se aplica quando os recursos do Azure estão na mesma região que o workspace do Azure Databricks. Para o tráfego entre regiões do Azure Databricks de computação sem servidor (por exemplo, se o workspace está na região Leste dos EUA e o armazenamento ADLS está no Oeste da Europa), o Azure Databricks roteia o tráfego através de um serviço Azure NAT Gateway.
Requisitos
- Seu espaço de trabalho deve estar no plano Premium.
- Você precisa ser um administrador da conta do Azure Databricks.
- Cada NCC pode ser anexado a até 50 espaços de trabalho.
- Cada conta do Azure Databricks pode ter até 10 NCCs por região. Os NCCs fornecem blocos CIDR de IP estáveis compartilhados em vez de blocos IP distintos por configuração e esses intervalos de IP são específicos da região. Para obter a lista de regiões com suporte, consulte as regiões do Azure Databricks.
- Você deve ter
WRITE
acesso às regras de rede da sua conta de armazenamento do Azure.
Etapa 1: Criar uma configuração de conectividade de rede e copiar as IDs de sub-rede
O Databricks recomenda compartilhar NCCs entre espaços de trabalho na mesma unidade de negócios e aqueles que compartilham a mesma região e propriedades de conectividade. Por exemplo, se alguns workspaces usarem o firewall de armazenamento e outros workspaces usarem a abordagem alternativa do Link Privado, use NCCs separadas para esses casos de uso.
- Como administrador da conta, acesse o console da conta.
- Na barra lateral, clique em Recursos de Nuvem.
- Clique em Configuração de Conectividade de Rede.
- Clique em Adicionar Configurações de Conectividade de Rede.
- Digite um nome para a NCC.
- Escolha a região. Isso deve corresponder à região da sua área de trabalho.
- Clique em Adicionar.
- Na lista de NCCs, clique em seu novo NCC.
- Em Regras Padrão em Identidades de rede, clique em Exibir tudo.
- No diálogo, clique no botão Copiar sub-redes.
Etapa 2: anexar um NCC a espaços de trabalho
Você pode anexar um NCC a até 50 espaços de trabalho na mesma região que o NCC.
Para usar a API para anexar um NCC a um espaço de trabalho, consulte a API de Espaços de Trabalho da Conta.
- Na barra lateral do console da conta, clique em Workspaces.
- Clique no nome do seu espaço de trabalho.
- Clique em Atualizar workspace.
- No campo Configuração de Conectividade de Rede , selecione o NCC. Se não estiver visível, confirme se você selecionou a mesma região para o workspace e o NCC.
- Clique em Atualizar.
- Aguarde 10 minutos para que a alteração entre em vigor.
- Reinicie todos os recursos de computação sem servidor executando no workspace.
Caso esteja usando esse recurso para se conectar à conta de armazenamento do espaço de trabalho, sua configuração será concluída. As regras de rede são adicionadas automaticamente à conta de armazenamento do espaço de trabalho. Para contas de armazenamento adicionais, continue para a próxima etapa.
Etapa 3: Bloquear sua conta de armazenamento
Se você ainda não limitou o acesso à conta de armazenamento do Azure apenas para redes permitidas, faça isso agora. Não é necessário fazer esta etapa para a conta de armazenamento do espaço de trabalho.
A criação de um firewall de armazenamento também afeta a conectividade do plano de computação clássico para seus recursos. Você também deve adicionar regras de rede para se conectar às suas contas de armazenamento a partir de recursos de computação clássicos.
- Acesse o portal do Azure.
- Acesse sua conta de armazenamento para a fonte de dados.
- Na navegação esquerda, clique em Rede.
- No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é habilitado para todas as redes. Altere isso para Habilitado em redes virtuais selecionadas e endereços IP.
Etapa 4: Adicionar regras de rede da conta de Armazenamento do Microsoft Azure
Não é necessário fazer esta etapa para a conta de armazenamento do espaço de trabalho.
Em um editor de texto, copie e cole o seguinte script, substituindo os parâmetros por valores para sua conta do Azure:
# Define parameters $subscription = `<YOUR_SUBSCRIPTION_ID>` # Replace with your Azure subscription ID or name $resourceGroup = `<YOUR_RESOURCE_GROUP>` # Replace with your Azure resource group name $accountName = `<YOUR_STORAGE_ACCOUNT_NAME>` # Replace with your Azure storage account name $subnets = `<SUBNET_NAME_1>` # Replace with your actual subnet names # Add network rules for each subnet foreach ($subnet in $subnets) { az storage account network-rule add --subscription $subscription ` --resource-group $resourceGroup ` --account-name $accountName ` --subnet $subnet }
Inicialize o Azure Cloud Shell.
No Azure Cloud Shell, usando um editor, crie um novo arquivo que termine com a
.ps1
extensão:vi ncc.ps1
Cole o script da etapa 1 no editor e pressione
Esc
, digite:wq
e pressioneEnter
.Execute o seguinte comando para executar o script:
./ncc.ps1
Depois de executar todos os comandos, você pode usar o portal do Azure para exibir sua conta de armazenamento e confirmar se há uma entrada na tabela Redes Virtuais que representa a nova sub-rede.
Dica
- Ao adicionar regras de rede de conta de armazenamento, use a API de Conectividade de Rede para recuperar as sub-redes mais recentes.
- Evite armazenar informações de NCC localmente.
- Ignore a menção de "Permissões insuficientes" no status do endpoint ou no alerta abaixo da lista de rede. Eles indicam apenas que você não tem permissão para ler as sub-redes do Azure Databricks, mas isso não interfere na capacidade dessa sub-rede sem servidor do Azure Databricks de contatar seu Armazenamento do Microsoft Azure.
Para confirmar se sua conta de armazenamento usa essas configurações do portal do Azure, navegue até Rede em sua conta de armazenamento. Confirme se o acesso à rede pública está definido como Habilitado a partir de redes virtuais selecionadas e endereços IP e redes permitidas estão listadas na seção Redes Virtuais .