Compartilhar via

Configurar a conectividade privada dos recursos do Azure

Este artigo descreve como configurar a conectividade privada da computação sem servidor usando a interface do usuário do console de conta Azure Databricks. Você também pode usar a API de configurações de conectividade de rede.

Se você configurar seu recurso de Azure para aceitar apenas conexões de pontos de extremidade privados, qualquer conexão com o recurso dos recursos de computação clássicos do Databricks também deverá usar pontos de extremidade privados.

Para configurar um firewall Armazenamento do Azure para acesso de computação sem servidor usando sub-redes, consulte Configure um firewall para acesso de computação sem servidor (herdado). Para gerenciar regras de ponto de extremidade privado existentes, consulte Gerenciar regras de ponto de extremidade privado.

Observação

Azure Databricks cobra pelos custos de rede quando workloads sem servidor se conectam aos recursos do cliente. Consulte Noções básicas sobre os custos de rede sem servidor do Databricks.

Visão geral da conectividade privada para a computação sem servidor

A conectividade de rede sem servidor é gerenciada com as NCCs (configurações de conectividade de rede). Os administradores de conta criam NCCs no console da conta e uma NCC pode ser anexada a um ou mais workspaces

Quando você adiciona um ponto de extremidade privado em um NCC, Azure Databricks cria uma solicitação de ponto de extremidade privado ao recurso Azure. Depois que a solicitação é aceita no lado do recurso, o ponto de extremidade privado é usado para acessar recursos do plano de computação sem servidor. O ponto de extremidade privado é dedicado à sua conta Azure Databricks e acessível somente de workspaces autorizados.

Há suporte para pontos de extremidade privados NCC de sql warehouses, trabalhos, notebooks, Pipelines Declarativos do Lakeflow Spark e pontos de extremidade de serviço de modelo.

Observação

  • Há suporte para pontos de extremidade privados NCC para fontes de dados que você gerencia e para a conta de armazenamento do espaço de trabalho. Para detalhes sobre como configurar pontos de extremidade privados para a conta de armazenamento do espaço de trabalho, consulte Habilitar o suporte de firewall para sua conta de armazenamento do espaço de trabalho.

  • A entrega de modelo usa o caminho de armazenamento de blobs do Azure para baixar artefatos de modelo, portanto, crie um ponto de extremidade privado para o seu blob de ID de sub-recurso. Você precisará do DFS para registrar modelos no Catálogo do Unity de notebooks sem servidor.

Para obter mais informações sobre as NCCs, confira O que é uma NCC (configuração de conectividade de rede)?.

Requisitos

  • Sua conta e ambiente de trabalho precisam estar no plano Premium.
  • Você deve ser um administrador de conta Azure Databricks.
  • Cada conta Azure Databricks pode ter até 10 NCCs por região.
  • Cada região pode ter 100 pontos de extremidade privados, distribuídos conforme necessário em um a dez NCCs.
  • Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda o compartilhamento de NCCs entre os workspaces da mesma unidade de negócios e aqueles que têm as mesmas propriedades de conectividade. Por exemplo, se alguns workspaces usarem Link Privado e outros workspaces utilizarem a habilitação de firewall, use NCCs separadas para esses casos de uso.

  1. Como administrador da conta, acesse o console da conta.
  2. Na barra lateral, clique em Segurança.
  3. Clique em configurações de conectividade de rede.
  4. Clique em Adicionar configuração de rede.
  5. Digite um nome para a NCC.
  6. Escolha a região. Isso precisa corresponder à região do seu espaço de trabalho.
  7. Clique em Adicionar.

Etapa 2: Anexar uma NCC a um espaço de trabalho

  1. Na barra lateral do console da conta, clique em Workspaces.
  2. Clique no nome do seu espaço de trabalho.
  3. Clique em Atualizar workspace.
  4. No campo Configurações de conectividade de rede, selecione o NCC. Se não estiver visível, confirme se você selecionou a mesma região Azure para o workspace e o NCC.
  5. Clique em Atualizar.
  6. Aguarde 10 minutos para que a alteração entre em vigor.
  7. Reinicie todos os serviços sem servidor em execução no workspace.

Etapa 3: Criar regras para pontos de extremidade privados

Você deve criar uma regra de ponto de extremidade privado em seu NCC para cada recurso do Azure.

  1. Obtenha uma lista de IDs de recursos Azure para todos os seus destinos.
    1. Em outra guia do navegador, use o portal do Azure e navegue até os serviços do Azure da fonte de dados.
    2. Na página Visão geral, examine a seção Essentials.
    3. Clique no link JSON View. A ID do recurso para o serviço é exibida na parte superior da página.
    4. Copie este identificador de recurso para outro local. Repita para todos os destinos. Para obter mais informações sobre como encontrar o ID do recurso, consulte valores da zona DNS privada do ponto de extremidade privado do Azure.
  2. Volte para a guia do navegador do console da conta.
  3. Na barra lateral, clique em Segurança.
  4. Clique em configurações de conectividade de rede.
  5. Selecione a NCC criada na etapa 1.
  6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.
  7. No campo ID do recurso do Azure de Destino, cole a ID do recurso.
  8. No campo ID de sub-recurso do Azure, especifique a ID de destino e o tipo de sub-recurso. Cada regra do ponto de extremidade privado precisa usar uma ID de sub-recurso diferente. Para obter uma lista de tipos de sub-recursos com suporte, consulte recursos com suporte.
  9. Clique em Adicionar.
  10. Aguarde alguns minutos até que todas as regras de ponto de extremidade tenham o status PENDING.

Etapa 4: Aprovar os novos pontos de extremidade privados nos seus recursos

Os pontos de extremidade só entrarão em vigor quando um administrador com direitos no recurso aprovar o novo ponto de extremidade privado. Para aprovar um ponto de extremidade privado usando o portal Azure, faça o seguinte:

  1. No portal do Azure, navegue até o recurso.

  2. Na barra lateral, clique em Rede.

  3. Clique em conexões de ponto de extremidade privado.

  4. Clique na guia Acesso privado.

  5. Na seção Conexões de ponto de extremidade privado, revise a lista de pontos de extremidade privados.

  6. Clique na caixa de seleção ao lado de cada uma para aprovar e clique no botão Aprovar acima da lista.

  7. Retorne ao NCC em Azure Databricks e atualize a página do navegador até que todas as regras de endpoint tenham o status ESTABLISHED.

    Lista dos pontos de extremidade privados

(Opcional) Etapa 5: Definir seus recursos para não permitir o acesso à rede pública

Se você ainda não limitou o acesso aos seus recursos apenas às redes listadas como permitidas, pode optar por fazer isso.

  1. Vá para o portal do Azure.
  2. Navegue até sua conta de armazenamento que contém a fonte de dados.
  3. Na barra lateral, clique em Rede.
  4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Habilitado de todas as redes. Altere-o para Desabilitado

Configurar Link Privado para Azure App Gateway v2

Se você estiver configurando um Link Privado para um recurso do Gateway de Aplicativo do Azure v2, deverá usar a API REST das Configurações de Conectividade de Rede em vez da interface do usuário do console de conta. Azure App Gateway v2 requer parâmetros de configuração adicionais, como ID do recurso, ID do grupo e nomes de domínio.

  1. Use a seguinte chamada à API para criar uma regra de ponto de extremidade privado com a configuração de nome de domínio: 
    curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ],
   "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
   "group_id": "<GROUP_ID>"
}'
  2. Se você precisar modificar os nomes de domínio de uma regra existente de ponto de extremidade privado, use a seguinte solicitação PATCH: 
    curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ]
}'
  3. Para listar, exibir ou excluir regras de ponto de extremidade privado do App Gateway, use as operações padrão de API de Configurações de Conectividade de Rede documentadas na API de Configurações de Conectividade de Rede.

Etapa 7: Reiniciar recursos do plano de computação sem servidor e testar a conexão

  1. Após a etapa anterior, aguarde cinco minutos adicionais para que as alterações sejam propagadas.
  2. Reinicie todos os recursos do plano de computação sem servidor em execução nos workspaces aos quais o NCC está anexado. Se você não tiver nenhum recurso de plano de computação sem servidor em execução, inicie um agora.
  3. Confirme se todos os recursos foram iniciados com sucesso.
  4. Execute pelo menos uma consulta em sua fonte de dados para confirmar que o SQL Warehouse sem servidor pode alcançar sua fonte de dados.

Próximas etapas

  • Last updated on