Configurar a conectividade privada dos recursos do Azure

Este artigo descreve como configurar a conectividade privada da computação sem servidor usando a interface do usuário do console de conta Azure Databricks. Você também pode usar a API de configurações de conectividade de rede.

Se você configurar seu recurso de Azure para aceitar apenas conexões de pontos de extremidade privados, qualquer conexão com o recurso dos recursos de computação clássicos do Databricks também deverá usar pontos de extremidade privados.

Para configurar um firewall Armazenamento do Azure para acesso de computação sem servidor usando sub-redes, consulte Configure um firewall para acesso de computação sem servidor (herdado). Para gerenciar regras de ponto de extremidade privado existentes, consulte Gerenciar regras de ponto de extremidade privado.

Observação

Azure Databricks cobra pelos custos de rede quando workloads sem servidor se conectam aos recursos do cliente. Consulte Noções básicas sobre os custos de rede sem servidor do Databricks.

Visão geral da conectividade privada para a computação sem servidor

A conectividade de rede sem servidor é gerenciada com as NCCs (configurações de conectividade de rede). Os administradores de conta criam NCCs no console da conta e um único NCC pode ser anexado a um ou mais workspaces.

Quando você adiciona um ponto de extremidade privado em um NCC, Azure Databricks cria uma solicitação de ponto de extremidade privado ao recurso Azure. Depois que o proprietário do recurso aprovar a solicitação, Azure Databricks usará esse ponto de extremidade privado para acessar recursos do plano de computação sem servidor. O ponto de extremidade privado é dedicado à sua conta Azure Databricks e acessível somente de workspaces autorizados.

Há suporte para pontos de extremidade privados NCC de sql warehouses, trabalhos, notebooks, Pipelines Declarativos do Lakeflow Spark e pontos de extremidade de serviço de modelo.

Observação

  • Há suporte para pontos de extremidade privados NCC para fontes de dados que você gerencia e para a conta de armazenamento do espaço de trabalho. Para detalhes sobre como configurar pontos de extremidade privados para a conta de armazenamento do espaço de trabalho, consulte Habilitar o suporte de firewall para sua conta de armazenamento do espaço de trabalho.

  • A entrega de modelo usa o caminho de armazenamento de blobs do Azure para baixar artefatos de modelo, portanto, crie um ponto de extremidade privado para o seu blob de ID de sub-recurso. Você precisará do DFS para registrar modelos no Catálogo do Unity de notebooks sem servidor.

Para obter mais informações sobre as NCCs, confira O que é uma NCC (configuração de conectividade de rede)?.

Azul

Requisitos

  • Sua conta e ambiente de trabalho precisam estar no plano Premium.
  • Você deve ser um administrador de conta Azure Databricks.
  • Cada conta Azure Databricks pode ter até 10 NCCs por região.
  • Cada região pode ter 100 pontos de extremidade privados, distribuídos conforme necessário em um a dez NCCs.
  • Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda o compartilhamento de um NCC entre workspaces na mesma unidade de negócios e região. Por exemplo, se alguns workspaces usarem Link Privado e outros workspaces utilizarem a habilitação de firewall, use NCCs separadas para esses casos de uso.

  1. Como administrador da conta, acesse o console da conta.
  2. Na barra lateral, clique em Segurança.
  3. Clique em configurações de conectividade de rede.
  4. Clique em Adicionar configuração de rede.
  5. Digite um nome para a NCC.
  6. Escolha a região. Isso precisa corresponder à região do seu espaço de trabalho.
  7. Clique em Adicionar.

Etapa 2: Anexar uma NCC a um espaço de trabalho

  1. Na barra lateral do console da conta, clique em Workspaces.
  2. Clique no nome do seu espaço de trabalho.
  3. Clique em Atualizar workspace.
  4. No campo Configurações de conectividade de rede, selecione o NCC. Se não estiver visível, confirme se você selecionou a mesma região Azure para o workspace e o NCC.
  5. Clique em Atualizar.
  6. Aguarde 10 minutos para que a alteração entre em vigor.
  7. Reinicie todos os serviços sem servidor em execução no workspace.

Etapa 3: Criar regras para pontos de extremidade privados

Você deve criar uma regra de ponto de extremidade privado em seu NCC para cada recurso do Azure.

  1. Obtenha uma lista de IDs de recursos Azure para todos os seus destinos.
    1. Em outra guia do navegador, use o portal do Azure e navegue até os serviços do Azure da fonte de dados.
    2. Na página Visão geral, examine a seção Essentials.
    3. Clique no link JSON View. A ID do recurso para o serviço é exibida na parte superior da página.
    4. Copie este identificador de recurso para outro local. Repita para todos os destinos. Para obter mais informações sobre como encontrar o ID do recurso, consulte valores da zona DNS privada do ponto de extremidade privado do Azure.
  2. Volte para a guia do navegador do console da conta.
  3. Na barra lateral, clique em Segurança.
  4. Clique em configurações de conectividade de rede.
  5. Selecione a NCC criada na etapa 1.
  6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.
  7. No campo ID do recurso do Azure de Destino, cole a ID do recurso.
  8. No campo ID de sub-recurso do Azure, especifique a ID de destino e o tipo de sub-recurso. Cada regra do ponto de extremidade privado precisa usar uma ID de sub-recurso diferente. Para obter uma lista de tipos de sub-recursos com suporte, consulte recursos com suporte.
  9. Clique em Adicionar.
  10. Aguarde alguns minutos até que todas as regras de ponto de extremidade tenham o status PENDING.

Etapa 4: Aprovar os novos pontos de extremidade privados nos seus recursos

Os endpoints não entrarão em vigor até que um administrador os aprove no recurso. Para aprovar usando o portal Azure:

  1. No portal do Azure, navegue até o recurso.

  2. Na barra lateral, clique em Rede.

  3. Clique em conexões de ponto de extremidade privado.

  4. Clique na guia Acesso privado.

  5. Na seção Conexões de ponto de extremidade privado, revise a lista de pontos de extremidade privados.

  6. Clique na caixa de seleção ao lado de cada uma para aprovar e clique no botão Aprovar acima da lista.

  7. Retorne ao NCC em Azure Databricks e atualize a página do navegador até que todas as regras de endpoint tenham o status ESTABLISHED.

    Lista dos pontos de extremidade privados

(Opcional) Etapa 5: Definir seus recursos para não permitir o acesso à rede pública

Se você ainda não restringiu seus recursos somente a redes autorizadas, você pode fazer isso agora.

  1. Vá para o portal do Azure.
  2. Navegue até sua conta de armazenamento que contém a fonte de dados.
  3. Na barra lateral, clique em Rede.
  4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Habilitado de todas as redes. Altere-o para Desabilitado

Configurar Link Privado para Azure App Gateway v2

Se você estiver configurando um Link Privado para um recurso do Gateway de Aplicativo do Azure v2, deverá usar a API REST das Configurações de Conectividade de Rede em vez da interface do usuário do console de conta. Azure App Gateway v2 requer parâmetros adicionais: ID do recurso, ID do grupo e nomes de domínio.

  1. Use a seguinte chamada à API para criar uma regra de ponto de extremidade privado com a configuração de nome de domínio: 
    curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ],
   "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
   "group_id": "<GROUP_ID>"
}'
  2. Se você precisar modificar os nomes de domínio de uma regra existente de ponto de extremidade privado, use a seguinte solicitação PATCH: 
    curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ]
}'
  3. Para listar, exibir ou excluir regras de ponto de extremidade privado do App Gateway, use as operações padrão de API de Configurações de Conectividade de Rede documentadas na API de Configurações de Conectividade de Rede.

Etapa 7: Reiniciar recursos do plano de computação sem servidor e testar a conexão

  1. Aguarde mais cinco minutos para que as alterações sejam propagadas.
  2. Reinicie todos os recursos do plano de computação sem servidor em execução nos workspaces aos quais o NCC está anexado. Se você não tiver nenhum recurso de plano de computação sem servidor em execução, inicie um agora.
  3. Confirme se todos os recursos foram iniciados com sucesso.
  4. Execute pelo menos uma consulta em sua fonte de dados para confirmar que o SQL Warehouse sem servidor pode alcançar sua fonte de dados.

Próximas etapas

Azure China

requisitos do Azure China

  • Sua conta e ambiente de trabalho precisam estar no plano Premium.
  • Você deve ser um administrador de conta Azure Databricks.
  • Cada conta Azure Databricks pode ter até 10 NCCs por região.
  • Cada conta pode ter até 20 pontos de extremidade privados no Azure na China.
  • Cada NCC pode ser anexado a até 50 espaços de trabalho.

Observação

No Azure China, os NCCs só têm suporte na região Norte da China 3. Como um NCC só pode ser anexado a um workspace na mesma região, seu workspace também deve estar no Norte da China 3.

Step 1: criar uma configuração de conectividade de rede (Azure China)

O Databricks recomenda o compartilhamento de um NCC entre workspaces na mesma unidade de negócios e região. Por exemplo, se alguns workspaces usarem Link Privado e outros workspaces usarem configurações de conectividade diferentes, use NCCs separadas para esses casos de uso.

Observação

A habilitação de firewall (acesso baseado em sub-rede) não está disponível no Azure China. Pontos de extremidade privados são o único método de conectividade com suporte para computação sem servidor no Azure China.

  1. Como administrador da conta, acesse o console da conta.
  2. Na barra lateral, clique em Segurança.
  3. Clique em configurações de conectividade de rede.
  4. Clique em Adicionar configuração de rede.
  5. Digite um nome para a NCC.
  6. Escolha o Norte da China 3 como a região. Isso precisa corresponder à região do seu espaço de trabalho.
  7. Clique em Adicionar.

Etapa 2: anexar um NCC a um espaço de trabalho do Azure China

  1. Na barra lateral do console da conta, clique em Workspaces.
  2. Clique no nome do seu espaço de trabalho.
  3. Clique em Atualizar workspace.
  4. No campo Configurações de conectividade de rede, selecione o NCC. Se não estiver visível, confirme se você selecionou o Norte da China 3 como a região Azure para o workspace e o NCC.
  5. Clique em Atualizar.
  6. Aguarde 10 minutos para que a alteração entre em vigor.
  7. Reinicie todos os serviços sem servidor em execução no workspace.

Passo 3: Criar regras de endpoint privado (Azure China)

Você deve criar uma regra de ponto de extremidade privado em seu NCC para cada recurso do Azure. Para obter a lista de recursos com suporte no Azure China, consulte Supported resources.

  1. Obtenha uma lista de IDs de recursos Azure para todos os seus destinos.
    1. Em outra guia do navegador, use o portal do Azure e navegue até os serviços do Azure da fonte de dados.
    2. Na página Visão geral, examine a seção Essentials.
    3. Clique no link JSON View. A ID do recurso para o serviço é exibida na parte superior da página.
    4. Copie este identificador de recurso para outro local. Repita para todos os destinos. Para obter mais informações sobre como encontrar o ID do recurso, consulte valores da zona DNS privada do ponto de extremidade privado do Azure.
  2. Volte para a guia do navegador do console da conta.
  3. Na barra lateral, clique em Segurança.
  4. Clique em configurações de conectividade de rede.
  5. Selecione a NCC criada na etapa 1.
  6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.
  7. No campo ID do recurso do Azure de Destino, cole a ID do recurso.
  8. No campo ID de sub-recurso do Azure, especifique a ID de destino e o tipo de sub-recurso. Cada regra do ponto de extremidade privado precisa usar uma ID de sub-recurso diferente.
  9. Clique em Adicionar.
  10. Aguarde alguns minutos até que todas as regras de ponto de extremidade tenham o status PENDING.

Passo 4: Aprovar os novos pontos de extremidade privados em seus recursos (Azure China)

Os pontos de extremidade não terão efeito até que um administrador os aprove do lado do recurso. Para aprovar usando o portal Azure:

  1. No portal do Azure, navegue até o recurso.

  2. Na barra lateral, clique em Rede.

  3. Clique em conexões de ponto de extremidade privado.

  4. Clique na guia Acesso privado.

  5. Na seção Conexões de ponto de extremidade privado, revise a lista de pontos de extremidade privados.

  6. Clique na caixa de seleção ao lado de cada uma para aprovar e clique no botão Aprovar acima da lista.

  7. Retorne ao NCC em Azure Databricks e atualize a página do navegador até que todas as regras de endpoint tenham o status ESTABLISHED.

    Lista dos pontos de extremidade privados

(Opcional) Etapa 5: Defina seus recursos para não permitir o acesso à rede pública (Azure China)

Se você ainda não restringiu seus recursos apenas a redes autorizadas, pode fazê-lo agora.

  1. Vá para o portal do Azure.
  2. Navegue até sua conta de armazenamento que contém a fonte de dados.
  3. Na barra lateral, clique em Rede.
  4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Habilitado de todas as redes. Altere-o para Desabilitado

Configure Link Privado para o Azure App Gateway v2 (Azure China)

Se você estiver configurando um Link Privado para um recurso do Gateway de Aplicativo do Azure v2, deverá usar a API REST das Configurações de Conectividade de Rede em vez da interface do usuário do console de conta. Azure App Gateway v2 requer parâmetros adicionais: ID do recurso, ID do grupo e nomes de domínio.

  1. Use a seguinte chamada à API para criar uma regra de ponto de extremidade privado com a configuração de nome de domínio: 
    curl --location 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ],
   "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
   "group_id": "<GROUP_ID>"
}'
  2. Se você precisar modificar os nomes de domínio de uma regra existente de ponto de extremidade privado, use a seguinte solicitação PATCH: 
    curl --location --request PATCH 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ]
}'
  3. Para listar, exibir ou excluir regras de ponto de extremidade privado do App Gateway, use as operações padrão de API de Configurações de Conectividade de Rede documentadas na API de Configurações de Conectividade de Rede.

Step 7: reinicie os recursos do plano de computação sem servidor e teste a conexão (Azure China)

  1. Aguarde mais cinco minutos para que as alterações sejam propagadas.
  2. Reinicie todos os recursos do plano de computação sem servidor em execução nos workspaces aos quais o NCC está anexado. Se você não tiver nenhum recurso de plano de computação sem servidor em execução, inicie um agora.
  3. Confirme se todos os recursos foram iniciados com sucesso.
  4. Execute pelo menos uma consulta em sua fonte de dados para confirmar que o SQL Warehouse sem servidor pode alcançar sua fonte de dados.

Próximas etapas (Azure China)

  • Last updated on