Use a Instância Gerenciada de SQL do Azure com o SSIS (SQL Server Integration Services) no Azure Data Factory ou no Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Data Factory no Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA interna e novos recursos. Se você não estiver familiarizado com a integração de dados, comece com Fabric Data Factory. As cargas de trabalho existentes do ADF podem ser atualizadas para Fabric para acessar novos recursos em ciência de dados, análise em tempo real e relatórios.

• Iniciar uma avaliação gratuita Fabric.
• Atualização do Azure Data Factory para o Data Factory no Microsoft Fabric

Agora você pode mover suas cargas de trabalho, pacotes e projetos do SSIS (SQL Server Integration Services) para a nuvem do Microsoft Azure. Implante, execute e gerencie projetos e pacotes do SSIS no Banco de Dados SQL do Azure ou na Instância Gerenciada de SQL usando ferramentas conhecidas, como o SSMS (SQL Server Management Studio). Este artigo destaca as seguintes áreas específicas ao usar a Instância Gerenciada de SQL do Azure com o IR (runtime de integração) do SSIS do Azure:

• Provisionar um Azure-SSIS IR com o catálogo do SSIS (SSISDB) hospedado pela Instância Gerenciada de SQL do Azure
• Executar pacotes SSIS pelo trabalho do Agente de Instância Gerenciada do SQL do Azure
• Limpar logs do SSISDB pelo trabalho do Agente de Instância Gerenciada do SQL do Azure
• Failover do Azure-SSIS IR com uma Instância Gerenciada de SQL do Azure
• Migrar cargas de trabalho do SSIS local para o SSIS no ADF

Provisionar Azure-SSIS IR com SSISDB hospedado pela Instância Gerenciada de SQL do Azure

Pré-requisitos

1. Habilite a ID do Microsoft Entra na InstânciaGerenciada de SQL do Azure ao escolher a autenticação do Microsoft Entra.

2. Escolha como conectar a Instância Gerenciada de SQL no ponto de extremidade privado ou no ponto de extremidade público:

   • Ponto de extremidade privado (preferencial)

     1. Escolha a rede virtual para o Azure-SSIS IR ingressar:

        • Dentro da mesma rede virtual que a instância gerenciada, com sub-rede diferente.
        • Dentro de uma rede virtual diferente da instância gerenciada, por meio de emparelhamento de rede virtual (que é limitado à mesma região devido a restrições de emparelhamento da VNet Global) ou uma conexão de rede virtual para rede virtual.

        Para saber mais sobre conectividade da Instância Gerenciada de SQL, confira Conectar seu aplicativo à Instância Gerenciada de SQL do Azure.

     2. Configure a rede virtual.

   • Ponto de extremidade público

     As Instâncias Gerenciadas de SQL do Azure podem fornecer conectividade em pontos de extremidade públicos. Os requisitos de entrada e saída precisam ser atendidos para permitir o tráfego entre a Instância Gerenciada de SQL do Azure e o Azure-SSIS IR:

     • quando Azure-SSIS IR não está dentro de uma rede virtual (preferencial)

       Requisito de entrada da Instância Gerenciada de SQL para permitir o tráfego de entrada do Azure-SSIS IR.

       Protocolo de transporte	Fonte	Intervalo de portas de origem	Destino	Intervalo de portas de destino
       TCP	Marca de serviço de nuvem do Azure	*	VirtualNetwork	3342

       Para saber mais, confira Permitir tráfego de ponto de extremidade público no grupo de segurança de rede.

     • quando Azure-SSIS IR está dentro de uma rede virtual

       Há um cenário especial quando a Instância Gerenciada de SQL está em uma região em que o Azure-SSIS IR não oferece suporte e o Azure-SSIS IR está dentro de uma rede virtual sem o emparelhamento da VNet devido à limitação de emparelhamento global da VNet. Neste cenário, o Azure-SSIS IR dentro de uma rede virtual conecta a Instância Gerenciada de SQL ao ponto de extremidade público. Use as seguintes regras de NSG (Grupo de Segurança de Rede) para permitir o tráfego entre a Instância Gerenciada de SQL e Azure-SSIS IR:

       1. Requisito de entrada da Instância Gerenciada de SQL para permitir o tráfego de entrada do Azure-SSIS IR.

          Protocolo de transporte	Fonte	Intervalo de portas de origem	Destino	Intervalo de portas de destino
          TCP	Endereço IP estático de Azure-SSIS IR Para obter detalhes, confira Traga seu IP público para o Azure-SSIS IR.	*	VirtualNetwork	3342

       2. Requisito de saída do Azure-SSIS IR para permitir o tráfego de saída para a Instância Gerenciada de SQL.

          Protocolo de transporte	Fonte	Intervalo de portas de origem	Destino	Intervalo de portas de destino
          TCP	VirtualNetwork	*	Endereço IP do ponto de extremidade público da Instância Gerenciada de SQL	3342

Configurar rede virtual

1. Permissão de usuário. O usuário que cria o Azure-SSIS IR do Azure deve ter a atribuição de função pelo menos no recurso do Azure Data Factory com uma das opções abaixo:

   • Use a função interna de Colaborador de Rede. Essa função vem com a permissão Microsoft.Network/*, que tem um escopo muito maior do que o necessário.
   • Crie uma função personalizada que inclua apenas a permissão Microsoft.Network/virtualNetworks/*/join/action necessária. Se você também deseja trazer seus endereços IP públicos para o Azure-SSIS IR enquanto ingressa em uma rede virtual do Azure Resource Manager, inclua também a permissão Microsoft.Network/publicIPAddresses/*/join/action na função.

2. Rede virtual.

   1. Verifique se o grupo de recursos da rede virtual pode criar e excluir determinados recursos de rede do Azure.

      O Azure-SSIS IR precisa criar determinados recursos de rede no mesmo grupo de recursos que a rede virtual. Esses recursos incluem:

      • Um balanceador de carga do Azure, com o nome <Guid>-azurebatch-cloudserviceloadbalancer
      • Um grupo de segurança de rede, com o nome *<Guid>-azurebatch-cloudservicenetworksecuritygroup
      • Um endereço IP público do Azure, com o nome -azurebatch-cloudservicepublicip

      Esses recursos são criados quando o Azure-SSIS IR for iniciado. Eles são excluídos quando o Azure-SSIS IR for interrompido. Para evitar o bloqueio do Azure-SSIS IR, não reutilize esses recursos de rede nos outros recursos.

   2. Certifique-se de que você não tem nenhum bloqueio de recurso no grupo de recursos/assinatura à qual pertence a rede virtual. Se você configurar um bloqueio somente leitura/exclusão, o início e a parada do Azure-SSIS IR falharão ou pararão de responder.

   3. Não configure definições do Azure Policy que impeçam a criação dos seguintes recursos no grupo de recursos/assinatura ao qual a rede virtual pertence :

      • Microsoft.Network/LoadBalancers
      • Microsoft.Network/NetworkSecurityGroups

   4. Permita o tráfego na regra do NSG (Grupo de Segurança de Rede), para permitir o tráfego entre a Instância Gerenciada de SQL e o Azure-SSIS IR e o tráfego necessário para o Azure-SSIS IR.

      1. Requisito de entrada da Instância Gerenciada de SQL para permitir o tráfego de entrada do Azure-SSIS IR.

         Protocolo de transporte	Fonte	Intervalo de portas de origem	Destino	Intervalo de portas de destino	Comentários
         TCP	VirtualNetwork	*	VirtualNetwork	1433, 11000-11999	Se a política de conexão do servidor de Banco de Dados SQL estiver definida como Proxy em vez de Redirecionar, será necessária apenas a porta 1433.

      2. Requisito de saída do Azure-SSIS IR para permitir o tráfego de saída para a Instância Gerenciada de SQL e outros tráfegos necessários do Azure-SSIS IR.

         Protocolo de transporte	Fonte	Intervalo de portas de origem	Destino	Intervalo de portas de destino	Comentários
         TCP	VirtualNetwork	*	VirtualNetwork	1433, 11000-11999	Permita o tráfego de saída para a Instância Gerenciada de SQL. Se a política de conexão estiver definida como Proxy em vez de Redirecionar, apenas a porta 1433 será necessária.
         TCP	VirtualNetwork	*	AzureCloud	443	Os nós do Azure-SSIS IR na rede virtual usam essa porta para acessar os serviços do Azure, como o Armazenamento do Microsoft Azure e Hubs de Eventos do Azure.
         TCP	VirtualNetwork	*	Internet	80	(Opcional) Os nós de seu Azure-SSIS IR na rede virtual usam essa porta para baixar a lista de revogação de certificados da Internet. Se você bloquear esse tráfego, poderá sofrer um downgrade de desempenho ao iniciar o IR e perder a capacidade de verificar a lista de revogação de certificados quanto ao uso de certificados. Se você deseja restringir ainda mais o destino a determinados FQDNs, confira Configurar UDRs (Rotas Definidas pelo Usuário).
         TCP	VirtualNetwork	*	Armazenamento	445	(Opcional) Esta regra é necessária apenas quando você deseja executar o pacote SSIS armazenado nos Arquivos do Azure.

      3. Requisito de entrada do Azure-SSIS IR para permitir o tráfego necessário para o Azure-SSIS IR.

         Protocolo de transporte	Fonte	Intervalo de portas de origem	Destino	Intervalo de portas de destino	Comentários
         TCP	BatchNodeManagement	*	VirtualNetwork	29876, 29877 (se você unir o IR a uma rede virtual do Azure Resource Manager) 10100, 20100, 30100 (se você unir o IR a uma rede virtual clássica)	Os serviços do Azure Data Factory usam essas portas para comunicarem-se com os nós de seu tempo de execução de integração do Azure-SSIS IR na rede virtual. Se você criar ou não um NSG no nível de sub-rede, o Azure Data Factory sempre configurará um NSG no nível dos adaptadores de rede anexados às máquinas virtuais que hospedam o Azure-SSIS IR. Somente o tráfego de entrada dos endereços IP do Data Factory nas portas especificadas é permitido pelo NSG no nível do adaptador de rede. Mesmo se você abrir essas portas para o tráfego da Internet no nível de sub-rede, o tráfego de endereços IP que não sejam endereços IP do Data Factory será bloqueado no nível do adaptador de rede.
         TCP	CorpNetSaw	*	VirtualNetwork	3389	(Opcional) Essa regra só é necessária quando o apoiador da Microsoft solicita que o cliente abra para solução de problemas avançada e pode ser fechada logo após a solução de problemas. A marca de serviço CorpNetSaw permite que apenas as estações de trabalho de acesso seguro na rede corporativa da Microsoft usem a área de trabalho remota. E essa marca de serviço não pode ser selecionada no portal e só está disponível via Azure PowerShell ou CLI do Azure. No NSG de nível NIC, a porta 3389 é aberta por padrão e permitimos que você controle a porta 3389 no nível da sub-rede NSG. Enquanto isso, o Azure-SSIS IR impediu, por padrão, a saída da porta 3389 nas regras do firewall do Windows em cada nó de IR para proteção.

   5. Confira configuração de rede virtual para saber mais:

      • Se você trouxer seus endereços IP públicos para o Azure-SSIS IR
      • Se você usar seu servidor DNS (Sistema de Nomes de Domínio)
      • Se você usar o Azure ExpressRoute ou uma UDR (rota definida pelo usuário)
      • Se você usar Azure-SSIS IR personalizado

Provisionar um Azure-SSIS Integration Runtime

1. Selecione o ponto de extremidade privado ou público da Instância Gerenciada de SQL.

   Ao provisionar o Azure-SSIS IR no portal do Azure/aplicativo ADF, na página Configurações de SQL, use o ponto de extremidade privado ou público da Instância Gerenciada de SQL ao criar o catálogo SSIS (SSISDB).

   O nome do host do ponto de extremidade público é fornecido no formato <nome_mi>.public.<zona_dns>.database.windows.net e a porta usada para a conexão é 3342.

   

2. Selecione a autenticação do Microsoft Entra quando aplicável.

   

   Para obter mais informações sobre como habilitar a autenticação do Microsoft Entra, consulte Habilitar a ID do Microsoft Entra na InstânciaGerenciada de SQL do Azure.

3. Associe o Azure-SSIS IR à rede virtual quando aplicável.

   Na página de configuração avançada, selecione a rede virtual e a sub-rede para ingressar.

   Quando estiver na mesma rede virtual que a Instância Gerenciada de SQL, escolha uma sub-rede diferente da Instância Gerenciada de SQL.

   Para saber mais sobre como ingressar no Azure-SSIS IR em uma rede virtual, confira Associar um tempo de execução de integração do Azure-SSIS a uma rede virtual.

   

Para obter mais informações sobre como criar um Azure-SSIS IR, consulte Criar um runtime de integração do Azure-SSIS no Azure Data Factory.

Limpar logs do SSISDB

A política de retenção de logs do SSISDB é definida pelas propriedades abaixo nas catalog.catalog_properties:

• OPERATION_CLEANUP_ENABLED

  Quando o valor for TRUE, os detalhes da operação e as mensagens da operação anteriores a RETENTION_WINDOW (dias) serão excluídos do catálogo. Quando o valor for FALSE, todos os detalhes da operação e mensagens da operação serão armazenados no catálogo. Observação: um trabalho do SQL Server executa a limpeza da operação.

• RETENTION_WINDOW

  O número de dias em que os detalhes da operação e as mensagens da operação serão armazenados no catálogo. Quando o valor for -1, a janela de retenção será infinita. Observação: se nenhuma limpeza for desejada, defina OPERATION_CLEANUP_ENABLED como FALSE.

Para remover os logs do SSISDB que estão fora da janela de retenção definida pelo administrador, você pode disparar o procedimento armazenado [internal].[cleanup_server_retention_window_exclusive]. Opcionalmente, você pode agendar a execução do trabalho do agente da Instância Gerenciada de SQL para acionar o procedimento armazenado.

Conteúdo relacionado

• Executar pacotes SSIS pelo trabalho do Agente de Instância Gerenciada do SQL do Azure
• Configurar BCDR (continuidade de negócios e recuperação de desastres)
• Migrar cargas de trabalho do SSIS local para o SSIS no ADF