Azure Private Link para o Azure Data Factory
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Usando o Azure Private Link, você pode se conectar a várias implantações de plataforma como serviço (PaaS) no Azure por meio de um ponto de extremidade privado. Um ponto final privado é um endereço IP privado numa rede virtual e sub-rede específicas. Para obter uma lista de implantações de PaaS que oferecem suporte à funcionalidade Private Link, consulte a documentação do Private Link.
Comunicação segura entre as redes de clientes e o Data Factory
Pode configurar uma rede virtual do Azure como uma representação lógica da rede na cloud. Ao fazê-lo, tem as seguintes vantagens:
- Ajuda a proteger os recursos do Azure contra ataques em redes públicas.
- Você permite que as redes e a fábrica de dados se comuniquem com segurança entre si.
Você também pode conectar uma rede local à sua rede virtual. Configure uma conexão VPN de segurança do Protocolo Internet, que é uma conexão site a site. Ou configure uma conexão de Rota Expressa do Azure. que é uma conexão de emparelhamento privado.
Você também pode instalar um tempo de execução de integração (IR) auto-hospedado em uma máquina local ou uma máquina virtual na rede virtual. Ao fazê-lo, poderá:
- Executar atividades de cópia entre um arquivo de dados na cloud e um arquivo de dados numa rede privada.
- Distribuir atividades de transformação nos recursos de computação numa rede no local ou numa rede virtual do Azure.
Vários canais de comunicação são necessários entre o Azure Data Factory e a rede virtual do cliente, conforme mostrado na tabela a seguir:
| Domain | Porta | Description |
|---|---|---|
adf.azure.com |
443 | O portal do Data Factory é exigido pela criação e monitoramento do Data Factory. |
*.{region}.datafactory.azure.net |
443 | Exigido pelo IR auto-hospedado para se conectar ao Data Factory. |
*.servicebus.windows.net |
443 | Exigido pelo IR auto-hospedado para criação interativa. |
download.microsoft.com |
443 | Exigido pelo IR auto-hospedado para baixar as atualizações. |
Nota
A desativação do acesso à rede pública aplica-se apenas ao IR auto-hospedado, não ao IR do Azure e ao IR do SQL Server Integration Services.
As comunicações com o Data Factory passam pelo Private Link e ajudam a fornecer conectividade privada segura.
Habilitar o Private Link para cada um dos canais de comunicação anteriores oferece a seguinte funcionalidade:
Suportado:
- Pode criar e monitorizar no portal do Data Factory a partir da sua rede virtual, mesmo que bloqueie todas as comunicações de saída. Se você criar um ponto de extremidade privado para o portal, outras pessoas ainda poderão acessar o portal do Data Factory por meio da rede pública.
- As comunicações de comando entre o IR auto-hospedado e o Data Factory podem ser executadas com segurança em um ambiente de rede privada. O tráfego entre o IR auto-hospedado e o Data Factory passa pelo Private Link.
Não suportado atualmente:
- A criação interativa que usa um IR auto-hospedado, como conexão de teste, lista de pastas de navegação e lista de tabelas, obter esquema e visualizar dados, passa pelo Link Privado. Observe que o tráfego passa por link privado se a criação interativa independente estiver ativada. Consulte Criação interativa independente.
Nota
Não há suporte para "Obter IP" e "Enviar log" quando a criação interativa independente está ativada.
- A nova versão do IR auto-hospedado que pode ser baixada automaticamente do Centro de Download da Microsoft se você habilitar a atualização automática não é suportada no momento.
Para funcionalidades que não são suportadas no momento, você precisa configurar o domínio e a porta mencionados anteriormente na rede virtual ou no firewall corporativo.
A conexão com o Data Factory via ponto de extremidade privado só é aplicável ao IR auto-hospedado no Data Factory. Não há suporte para o Azure Synapse Analytics.
Aviso
Se você habilitar o Private Link Data Factory e bloquear o acesso público ao mesmo tempo, armazene suas credenciais no Cofre da Chave do Azure para garantir que elas sejam seguras.
Configurar ponto de extremidade privado para comunicação entre IR auto-hospedado e Data Factory
Esta seção descreve como configurar o ponto de extremidade privado para comunicação entre IR auto-hospedado e Data Factory.
Criar um ponto de extremidade privado e configurar um link privado para o Data Factory
O ponto de extremidade privado é criado em sua rede virtual para a comunicação entre o IR auto-hospedado e o Data Factory. Siga as etapas em Configurar um link de ponto de extremidade privado para o Data Factory.
Verifique se a configuração de DNS está correta
Siga as instruções em Alterações de DNS para pontos de extremidade privados para verificar ou definir suas configurações de DNS.
Coloque FQDNs do Centro de Retransmissão e Download do Azure na lista de permissões do seu firewall
Se o IR auto-hospedado estiver instalado na máquina virtual da sua rede virtual, permita que o tráfego de saída fique abaixo dos FQDNs no NSG da sua rede virtual.
Se o IR auto-hospedado estiver instalado na máquina em seu ambiente local, permita que o tráfego de saída fique abaixo dos FQDNs no firewall do seu ambiente local e no NSG da sua rede virtual.
| Domain | Porta | Description |
|---|---|---|
*.servicebus.windows.net |
443 | Exigido pelo IR auto-hospedado para criação interativa |
download.microsoft.com |
443 | Exigido pelo IR auto-hospedado para baixar as atualizações |
Se você não permitir o tráfego de saída anterior no firewall e no NSG, o IR auto-hospedado será mostrado com um status Limitado . Mas você ainda pode usá-lo para executar atividades. Apenas a criação interativa e a atualização automática não funcionam.
Nota
Se uma fábrica de dados (compartilhada) tiver um IR auto-hospedado e o IR auto-hospedado for compartilhado com outras fábricas de dados (vinculadas), você só precisará criar um ponto de extremidade privado para a fábrica de dados compartilhada. Outras fábricas de dados vinculadas podem aproveitar esse link privado para as comunicações entre IR auto-hospedado e Data Factory.
Alterações de DNS para pontos de extremidade privados
Quando você cria um ponto de extremidade privado, o registro de recurso DNS CNAME para o data factory é atualizado para um alias em um subdomínio com o prefixo privatelink. Por padrão, também criamos uma zona DNS privada, correspondente ao subdomínio privatelink , com os registros de recursos DNS A para os pontos de extremidade privados.
Quando você resolve a URL do ponto de extremidade do data factory de fora da rede virtual com o ponto de extremidade privado, ela é resolvida para o ponto de extremidade público do Data Factory. Quando resolvido a partir da rede virtual que hospeda o ponto de extremidade privado, a URL do ponto de extremidade de armazenamento é resolvida para o endereço IP do ponto de extremidade privado.
Para o exemplo ilustrado anterior, os registros de recursos DNS para a fábrica de dados chamada DataFactoryA, quando resolvidos de fora da rede virtual que hospeda o ponto de extremidade privado, serão:
| Nome | Tipo | valor |
|---|---|---|
| DataFactoryA. {região}.datafactory.azure.net | CNAME | < Ponto de extremidade público do Data Factory > |
| < Ponto de extremidade público do Data Factory > | A | < Endereço IP público do Data Factory > |
Os registros de recursos DNS para DataFactoryA, quando resolvidos na rede virtual que hospeda o ponto de extremidade privado, serão:
| Nome | Tipo | valor |
|---|---|---|
| DataFactoryA. {região}.datafactory.azure.net | CNAME | DataFactoryA. {região}.privatelink.datafactory.azure.net |
| DataFactoryA. {região}.privatelink.datafactory.azure.net | A | < endereço IP do ponto de extremidade privado > |
Se você estiver usando um servidor DNS personalizado em sua rede, os clientes deverão ser capazes de resolver o FQDN do ponto de extremidade do data factory para o endereço IP do ponto de extremidade privado. Você deve configurar seu servidor DNS para delegar seu subdomínio Link privado à zona DNS privada da rede virtual. Ou você pode configurar os registros A para DataFactoryA. {region}.datafactory.azure.net com o endereço IP do ponto de extremidade privado.
- Name resolution for resources in Azure virtual networks (Resolução de nomes para recursos em redes virtuais do Azure)
- Configuração de DNS para pontos de extremidade privados
Nota
Atualmente, há apenas um ponto de extremidade do portal Data Factory, portanto, há apenas um ponto de extremidade privado para o portal em uma zona DNS. A tentativa de criar um segundo ponto de extremidade privado do portal ou subsequente substitui a entrada DNS privada criada anteriormente para o portal.
Configurar um link de ponto de extremidade privado para o Data Factory
Nesta seção, você configurará um link de ponto de extremidade privado para o Data Factory.
Você pode escolher se deseja conectar seu IR auto-hospedado ao Data Factory selecionando Ponto de extremidade Público ou Ponto de extremidade Privado durante a etapa de criação do Data Factory, mostrada aqui:
Você pode alterar a seleção a qualquer momento após a criação na página do portal do Data Factory no painel Rede . Depois de habilitar o ponto de extremidade privado lá, você também deve adicionar um ponto de extremidade privado ao data factory.
Um ponto de extremidade privado requer uma rede virtual e uma sub-rede para o link. Neste exemplo, uma máquina virtual dentro da sub-rede é usada para executar o IR auto-hospedado, que se conecta por meio do link de ponto de extremidade privado.
Criar uma rede virtual
Se você não tiver uma rede virtual existente para usar com seu link de ponto de extremidade privado, deverá criar uma e atribuir uma sub-rede.
Inicie sessão no portal do Azure.
No canto superior esquerdo do ecrã, selecione Criar um recurso>Rede virtual de rede>ou procure Rede virtual na caixa de pesquisa.
Em Criar rede virtual, insira ou selecione essas informações na guia Noções básicas :
Definição Valor Detalhes do projeto Subscrição Selecione a subscrição do Azure. Grupo de recursos Selecione um grupo de recursos para sua rede virtual. Detalhes da instância Nome Introduza um nome para a sua rede virtual. País/Região Importante: Selecione a mesma região que seu ponto de extremidade privado usa. Selecione a guia Endereços IP ou selecione Avançar: Endereços IP na parte inferior da página.
No separador Endereços IP, introduza estas informações:
Definição Value Espaço de endereçamento IPv4 Digite 10.1.0.0/16. Em Nome da sub-rede, selecione a palavra padrão.
Em Editar sub-rede, insira estas informações:
Definição Value Nome da sub-rede Introduza um nome para a sua sub-rede. Intervalo de endereços da sub-rede Digite 10.1.0.0/24. Selecione Guardar.
Selecione o separador Rever + criar ou selecione o botão Rever + criar .
Selecione Criar.
Criar uma máquina virtual para o IR auto-hospedado
Você também deve criar ou atribuir uma máquina virtual existente para executar o IR auto-hospedado na nova sub-rede criada nas etapas anteriores.
No canto superior esquerdo do portal, selecione Criar uma máquina virtual de computação>de recurso>ou procure por máquina virtual na caixa de pesquisa.
Em Criar uma máquina virtual, insira ou selecione os valores na guia Noções básicas :
Definição Value Detalhes do projeto Subscrição Selecione a subscrição do Azure. Grupo de recursos Selecione um grupo de recursos. Detalhes da instância Virtual machine name Insira um nome para a máquina virtual. País/Região Selecione a região que você usou para sua rede virtual. Opções de disponibilidade Selecione Sem necessidade de redundância de infraestrutura. Image Selecione Windows Server 2019 Datacenter - Gen1 ou qualquer outra imagem do Windows que ofereça suporte ao IR auto-hospedado. Instância spot do Azure Selecione Não. Tamanho Escolha o tamanho da VM ou use a configuração padrão. Conta de administrador Username Introduza um nome de utilizador. Palavra-passe Introduza uma palavra-passe. Confirme a palavra-passe Reintroduza a palavra-passe. Selecione a guia Rede ou selecione Avançar: Discos Próximo: Rede>.
Na guia Rede, selecione ou digite:
Definição Value Interface de Rede Rede virtual Selecione a rede virtual que criou. Sub-rede Selecione a sub-rede que você criou. IP público Selecione Nenhuma. Grupo de segurança de rede NIC Basic. Portas de entrada públicas Selecione Nenhuma. Selecione Rever + criar.
Reveja as definições e, em seguida, selecione Criar.
Nota
O Azure fornece um IP de acesso de saída padrão para VMs que não recebem um endereço IP público ou estão no pool de back-end de um balanceador de carga básico interno do Azure. O mecanismo IP de acesso de saída padrão fornece um endereço IP de saída que não é configurável.
O IP de acesso de saída padrão é desativado quando um dos seguintes eventos acontece:
- Um endereço IP público é atribuído à VM.
- A VM é colocada no pool de back-end de um balanceador de carga padrão, com ou sem regras de saída.
- Um recurso do Gateway NAT do Azure é atribuído à sub-rede da VM.
As VMs que você cria usando conjuntos de dimensionamento de máquina virtual no modo de orquestração flexível não têm acesso de saída padrão.
Para obter mais informações sobre conexões de saída no Azure, consulte Acesso de saída padrão no Azure e Usar SNAT (Conversão de Endereço de Rede de Origem) para conexões de saída.
Criar um ponto final privado
Finalmente, você deve criar um ponto de extremidade privado em seu data factory.
Na página do portal do Azure para o seu data factory, selecione Ligações de ponto de extremidade privadas de rede>e, em seguida, selecione + Ponto de extremidade privado.
Na guia Noções básicas de Criar um ponto de extremidade privado, insira ou selecione estas informações:
Definição Value Detalhes do projeto Subscrição Selecione a sua subscrição. Grupo de recursos Selecione um grupo de recursos. Detalhes da instância Nome Insira um nome para seu ponto de extremidade. País/Região Selecione a região da rede virtual que você criou. Selecione a guia Recurso ou o botão Avançar: Recurso na parte inferior da tela.
Em Recurso, insira ou selecione estas informações:
Definição Value Método de ligação Selecione Conectar a um recurso do Azure em meu diretório. Subscrição Selecione a sua subscrição. Tipo de recurso Selecione Microsoft.Datafactory/factories. Recurso Selecione o seu data factory. Recurso secundário de destino Se você quiser usar o ponto de extremidade privado para comunicações de comando entre o IR auto-hospedado e o Data Factory, selecione datafactory como subrecurso de destino. Se você quiser usar o ponto de extremidade privado para criar e monitorar o data factory em sua rede virtual, selecione portal como Subrecurso de destino. Selecione a guia Configuração ou o botão Avançar: Configuração na parte inferior da tela.
Em Configuração, insira ou selecione estas informações:
Definição Value Rede Rede virtual Selecione a rede virtual que criou. Sub-rede Selecione a sub-rede que você criou. Integração com DNS privado Integrar com zona DNS privada Deixe o padrão de Sim. Subscrição Selecione a sua subscrição. Zonas DNS Privadas Deixe o valor padrão em ambos os subrecursos de destino: 1. datafactory: (Novo) privatelink.datafactory.azure.net. 2. portal: (Novo) privatelink.adf.azure.com. Selecione Rever + criar.
Selecione Criar.
Restringir o acesso aos recursos do Data Factory usando o Private Link
Se você quiser restringir o acesso aos recursos do Data Factory em suas assinaturas por Link Privado, siga as etapas em Usar portal para criar um link privado para gerenciar recursos do Azure.
Problema conhecido
Você não consegue acessar cada recurso PaaS quando ambos os lados são expostos ao Private Link e a um ponto de extremidade privado. Esse problema é uma limitação conhecida do Private Link e dos pontos de extremidade privados.
Por exemplo, o cliente A está usando um link privado para acessar o portal da fábrica de dados A na rede virtual A. Quando a fábrica de dados A não bloqueia o acesso público, o cliente B pode acessar o portal da fábrica de dados A na rede virtual B via pública. Mas quando o cliente B cria um ponto de extremidade privado contra a fábrica de dados B na rede virtual B, o cliente B não pode mais acessar a fábrica de dados A via pública na rede virtual B.