Configurar a conectividade privada a partir da computação sem servidor

Este artigo descreve como configurar a conectividade privada a partir da computação sem servidor usando a interface do usuário do console da conta do Azure Databricks. Você também pode usar a API de Configurações de Conectividade de Rede.

Se você configurar seu recurso do Azure para aceitar apenas conexões de pontos de extremidade privados, qualquer conexão com o recurso de seus recursos de computação clássicos do Databricks também precisará usar pontos de extremidade privados.

Para configurar um firewall de Armazenamento do Azure para acesso de computação sem servidor usando sub-redes, consulte Configurar um firewall para acesso de computação sem servidor. Para gerenciar regras de ponto de extremidade privadas existentes, consulte Gerenciar regras de ponto de extremidade privado

Nota

Atualmente, não há cobranças de rede para recursos sem servidor. Em uma versão posterior, você pode ser cobrado. O Azure Databricks fornecerá aviso prévio para alterações de preços de rede.

Visão geral da conectividade privada para computação sem servidor

A conectividade de rede sem servidor é gerenciada com configurações de conectividade de rede (NCCs). Os administradores de conta criam NCCs no console da conta e um NCC pode ser anexado a um ou mais espaços de trabalho

Quando você adiciona um ponto de extremidade privado em um NCC, o Azure Databricks cria uma solicitação de ponto de extremidade privado para seu recurso do Azure. Depois que a solicitação é aceita no lado do recurso, o ponto de extremidade privado é usado para acessar recursos do plano de computação sem servidor. O ponto de extremidade privado é dedicado à sua conta do Azure Databricks e acessível apenas a partir de espaços de trabalho autorizados.

Os pontos de extremidade privados NCC são suportados apenas em armazéns SQL sem servidor. Eles não são suportados por outros recursos de computação no plano de computação sem servidor.

Nota

Os pontos de extremidade privados NCC são suportados apenas para fontes de dados gerenciadas por você. Para conexão com a conta de armazenamento do espaço de trabalho, entre em contato com sua equipe de conta do Azure Databricks.

Para obter mais informações sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.

Requisitos

• Seu espaço de trabalho deve estar no plano Premium.
• Você deve ser um administrador de conta do Azure Databricks.
• Cada conta do Azure Databricks pode ter até 10 NCCs por região.
• Cada região pode ter 100 endpoints privados, distribuídos conforme necessário por 1-10 NCCs.
• Cada NCC pode ser anexado a até 50 espaços de trabalho.

Etapa 1: Criar uma configuração de conectividade de rede

O Databricks recomenda compartilhar um NCC entre espaços de trabalho dentro da mesma unidade de negócios e aqueles que compartilham as mesmas propriedades de conectividade de região. Por exemplo, se alguns espaços de trabalho usam Private Link e outros espaços de trabalho usam ativação de firewall, use NCCs separados para esses casos de uso.

1. Como administrador de conta, aceda à consola da conta.
2. Na barra lateral, clique em Recursos de nuvem.
3. Clique em Configurações de conectividade de rede.
4. Clique em Adicionar configuração de conectividade de rede.
5. Digite um nome para o NCC.
6. Escolha a região. Isso deve corresponder à região do seu espaço de trabalho.
7. Clique em Adicionar.

Etapa 2: Anexar um NCC a um espaço de trabalho

1. Na barra lateral do console da conta, clique em Espaços de trabalho.
2. Clique no nome do seu espaço de trabalho.
3. Clique em Atualizar espaço de trabalho.
4. No campo Configuração de Conectividade de Rede , selecione seu NCC. Se não estiver visível, confirme se selecionou a mesma região do Azure para o espaço de trabalho e o NCC.
5. Clique em Atualizar.
6. Aguarde 10 minutos para que a alteração entre em vigor.
7. Reinicie todos os armazéns SQL sem servidor em execução no espaço de trabalho.

Etapa 3: Criar regras de ponto de extremidade privado

Você deve criar uma regra de ponto de extremidade privada em seu NCC para cada recurso do Azure.

1. Obtenha uma lista de IDs de recursos do Azure para todos os seus destinos.

   1. Em outra guia do navegador, no portal do Azure, navegue até a conta de Armazenamento do Azure da fonte de dados.
   2. Na página Visão geral, procure na seção Essenciais.
   3. Clique no link Visualização JSON. O ID do recurso para a conta de armazenamento é exibido na parte superior da página.
   4. Copie esse ID de recurso para outro local. Repita para todos os destinos.

2. Volte para a guia do navegador do console da conta.

3. Na barra lateral, clique em Recursos de nuvem.

4. Clique em Configurações de conectividade de rede.

5. Selecione o NCC que você criou na etapa 1.

6. Em Regras de ponto de extremidade privado, clique em Adicionar regra de ponto de extremidade privado.

7. No campo ID do recurso do Azure de destino, cole a ID do recurso para o seu recurso.

8. No campo ID do subrecurso do Azure, defina-o como o valor do subrecurso de acordo com a tabela abaixo. Cada regra de ponto de extremidade privada deve usar um ID de subrecurso diferente.

   Tipo de destino	ID do subrecurso do Azure
   Armazenamento de Blobs	blob
   Armazenamento ADLS	dfs

9. Clique em Adicionar.

10. Aguarde alguns minutos até que todas as regras do ponto de extremidade tenham o status PENDING.

Etapa 4: aprovar os novos pontos de extremidade privados em seus recursos

Os pontos de extremidade não entram em vigor até que um administrador com direitos sobre o recurso aprove o novo ponto de extremidade privado. Para aprovar um ponto de extremidade privado usando o portal do Azure, faça o seguinte:

1. No portal do Azure, navegue até sua conta de armazenamento do Azure.

2. Na barra lateral, clique em Rede.

3. Clique em Conexões de ponto de extremidade privadas.

4. Clique na guia Acesso privado.

5. Em Conexões de ponto de extremidade privadas, revise a lista de pontos de extremidade privados.

6. Clique na caixa de seleção ao lado de cada um para aprovar e clique no botão Aprovar acima da lista.

7. Retorne ao seu NCC no Azure Databricks e atualize a página do navegador até que todas as regras de ponto de extremidade tenham o status ESTABLISHED.

   

(Opcional) Etapa 5: definir sua conta de armazenamento para não permitir acesso à rede pública

Se ainda não tiver limitado o acesso à conta de armazenamento do Azure apenas a redes listadas como permitidas, pode optar por fazer isso.

1. Aceda ao portal do Azure.
2. Navegue até sua conta de armazenamento para a fonte de dados.
3. Na barra lateral, clique em Rede.
4. No campo Acesso à rede pública, verifique o valor. Por padrão, o valor é Enabled de todas as redes. Altere para Desativado

Etapa 6: Reinicie os SQL warehouses sem servidor e teste a conexão

1. Após a etapa anterior, aguarde mais cinco minutos para que as alterações se propaguem.
2. Reinicie todos os armazéns SQL sem servidor em execução nos espaços de trabalho aos quais seu NCC está conectado. Se você não tiver armazéns SQL sem servidor em execução, inicie um agora.
3. Confirme se todos os SQL warehouses são iniciados com êxito.
4. Execute pelo menos uma consulta em sua fonte de dados para confirmar se o SQL warehouse sem servidor pode alcançar sua fonte de dados.