Provisionar o Azure-SSIS Integration Runtime no Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este tutorial fornece etapas de como usar o portal do Azure para provisionar um Azure-SSIS IR (SQL Server Integration Services Integration Runtime) no ADF (Azure Data Factory). Um Azure-SSIS IR dá suporte a:

• Execução de pacotes implantados no catálogo do SSIS (SSISDB) hospedado por uma Instância Gerenciada/servidor do Banco de Dados SQL do Azure (modelo de implantação de projeto)
• Execução de pacotes implantados no sistema de arquivos, nos Arquivos do Azure ou no banco de dados do SQL Server (MSDB) hospedado pela Instância Gerenciada de SQL do Azure (modelo de implantação de pacote)

Depois que um Azure-SSIS IR for provisionado, você poderá usar ferramentas familiares para implantar e executar seus pacotes no Azure. Essas ferramentas já estão habilitadas para o Azure e incluem o SSDT (SQL Server Data Tools), o SSMS (SQL Server Management Studio), além de utilitários de linha de comando como dtutil e AzureDTExec.

Para obter informações conceituais sobre IRs do SSIS do Azure, consulte visão geral do Integration Runtime do Azure SSIS.

Neste tutorial, você completa as seguintes etapas:

• Criar um data factory.
• Provisionar um runtime de integração do Azure-SSIS.

Pré-requisitos

Observação

Recomendamos que você use o módulo Az PowerShell do Azure para interagir com o Azure. Confira Instalar o Azure PowerShell para começar. Para saber como migrar para o módulo Az PowerShell, confira Migrar o Azure PowerShell do AzureRM para o Az.

• Assinatura do Azure. Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.

• Servidor do banco de dados SQL do Azure (opcional) . Se você ainda não tiver um servidor de banco de dados, crie um no Portal do Azure antes de começar. O Data Factory, por sua vez, criará uma instância do SSISDB neste servidor de banco de dados.

  É recomendável que você crie o servidor de banco de dados na mesma região do Azure que a do Integration Runtime. Essa configuração permite que o Integration Runtime grave logs de execução do SSISDB sem cruzar regiões do Azure.

  Tenha estes pontos em mente:

  • Com base no servidor de banco de dados selecionado, a instância do SSISDB pode ser criada em seu nome como um banco de dados individual, como parte de um pool elástico ou em uma instância gerenciada. Ela pode ser acessível em uma rede pública ou ingressando em uma rede virtual. Para obter orientações sobre como escolher o tipo de servidor de banco de dados para hospedar o SSISDB, veja Comparar o Banco de Dados SQL e a Instância Gerenciada de SQL.

    Se você usar um servidor do Banco de Dados SQL do Azure com regras de firewall de IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB ou se você exigir acesso a dados locais sem configurar o IR auto-hospedado, precisará associar o Azure-SSIS IR a uma rede virtual. Para obter mais informações, confira Criar o Azure-SSIS IR em uma rede virtual.

  • Confirme se a configuração Permitir acesso aos serviços do Azure está habilitada para o servidor de banco de dados. Essa configuração não se aplica quando você usa um servidor do Banco de Dados SQL do Azure com regras de firewall de IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB. Para saber mais, confira Proteger seu Banco de Dados SQL do Azure. Para habilitar essa configuração usando o PowerShell, veja New-AzSqlServerFirewallRule.

  • Adicione o endereço IP do computador cliente ou um intervalo de endereços IP que inclua o endereço IP do computador cliente à lista de endereços IP do cliente nas configurações do firewall para o servidor de banco de dados. Para saber mais, confira Regras de firewall no nível do servidor e no nível do banco de dados do Banco de Dados SQL do Azure.

  • Você pode se conectar ao servidor de banco de dados usando a autenticação SQL com suas credenciais de administrador de servidor ou usando a autenticação do Microsoft Entra com a identidade gerenciada atribuída ao sistema/usuário específica do seu data factory. Para o último, você precisa adicionar a identidade gerenciada atribuída ao sistema/usuário especificada do data factory em um grupo do Microsoft Entra com permissões de acesso ao servidor de banco de dados. Para obter mais informações, confira Criar um Azure-SSIS IR com a autenticação do Microsoft Entra.

  • Verifique se seu servidor de banco de dados ainda não tem uma instância do SSISDB. O provisionamento do Azure-SSIS IR não dá suporte ao uso de uma instância existente do SSISDB.

Observação

Para obter uma lista de regiões do Azure nas quais o Data Factory e um Azure-SSIS IR estão disponíveis, confira Disponibilidade do Data Factory + SSIS IR por região.

Criar uma data factory

Para criar seu data factory por meio do portal do Azure, siga as instruções passo a passo em Criar um data factory por meio da interface do usuário. Ao fazer isso, selecione Fixar no painel para permitir acesso rápido após a criação do data factory.

Depois que o data factory for criado, abra a respectiva página de visão geral na portal do Azure. Selecione o bloco Abrir Estúdio do Azure Data Factory para abrir a página Vamos começar em uma guia separada. Nessa página, você pode continuar a criar o Azure-SSIS IR.

Criar um Integration Runtime do Azure-SSIS

Da visão geral do Data Factory

1. Na página inicial, selecione o bloco Configurar SSIS.

   

2. Consulte a seção Provisionar um runtime de integração do Azure-SSIS para conferir o restante das etapas de configuração de um IR do Azure-SSIS.

Da interface do usuário de criação

1. Na interface do usuário do Azure Data Factory, alterne para a guia Gerenciar e, em seguida, alterne para a guia runtimes de Integração para exibir os runtimes de integração existentes no data factory.

   

2. Selecione Novo para criar um Azure-SSIS IR e abra o painel Configuração do runtime de integração.

   

3. No painel Instalação do runtime de integração, escolha o bloco Pacotes SSIS existentes de lift-and-shift para execução no Azure e, em seguida, escolha Continuar.

   

4. Consulte a seção Provisionar um runtime de integração do Azure-SSIS para conferir o restante das etapas de configuração de um IR do Azure-SSIS.

Provisionar um runtime de integração do Azure-SSIS

O painel Instalação do runtime de integração tem três páginas nas quais você definiu sucessivamente configurações gerais, de implantação e avançadas.

Página Configurações gerais

Na página Configurações gerais do painel Instalação do runtime de integração, conclua as etapas a seguir.

1. Para o Nome, insira o nome do seu runtime de integração.

2. Para Descrição, insira a descrição do seu runtime de integração.

3. Para Local, selecione o local do seu runtime de integração. Somente os locais com suporte são exibidos. Recomendamos que você selecione o mesmo local do seu servidor de banco de dados para hospedar o SSISDB.

4. Para Tamanho do Nó, selecione o tamanho do nó no cluster de runtime de integração. Apenas tamanhos de nós suportados são exibidos. Selecione um tamanho de nó grande (escalonamento vertical) se você quiser executar muitos pacotes com uso intensivo de computação ou de memória.

5. Para Número do Nó, selecione o número de nós em seu cluster de runtime de integração. Somente os números de nós com suporte são exibidos. Selecione um cluster grande com muitos nós (escalonamento horizontal) se você deseja executar muitos pacotes em paralelo.

6. Para Edição/Licença, selecione a edição do SQL Server para seu runtime de integração: Standard ou Enterprise. Selecione Enterprise se você quiser usar os recursos avançados/premium em seu runtime de integração.

7. Para Economizar, selecione a opção do Benefício Híbrido do Azure para o runtime de integração: Sim ou Não. Selecione Sim se você quiser colocar sua própria licença do SQL Server com o Software Assurance para aproveitar a redução de custos com o uso híbrido.

8. Selecione Continuar.

Página Configurações de implantação

Na página Configurações da implantação do painel Instalação do Runtime de Integração, você tem as opções para criar o SSISDB e/ou os armazenamentos de pacotes do Azure-SSIS IR.

Criar SSISDB

Na página Configurações de implantação do painel Configuração do runtime de integração, marque a caixa de seleção Criar catálogo do SSIS (SSISDB) hospedado pelo servidor do Banco de Dados SQL do Azure ou pela Instância Gerenciada para armazenar seus projetos/pacotes/ambientes/logs de execução nos cenários abaixo:

• Modelo de implantação do projeto. Você implanta seus pacotes no SSISDB.

• Independentemente do modelo de implantação, usando o SQL Server Agent hospedados pela Instância Gerenciada de SQL do Azure para orquestrar/agendar as execuções do pacote.

  Para obter mais informações, confira Agendar execuções de pacote SSIS por meio do Agente da Instância Gerenciada de SQL do Azure.

No cenário abaixo, não é necessário criar o SSISDB nem marcar a caixa de seleção:

• Modelo de implantação do pacote e não usar o SQL Server Agent hospedado pela Instância Gerenciada de SQL do Azure para orquestrar/agendar a execução do pacote.

  Implante seus pacotes no sistema de arquivos, nos Arquivos do Azure ou no banco de dados SQL Server (MSDB) hospedado pela Instância Gerenciada de SQL do Azure (modelo de implantação do pacote) e use o pipeline do Data Factory para orquestrar/agendar as execuções do pacote.

Se marcar a caixa de seleção, conclua as etapas a seguir para trazer seu próprio servidor de banco de dados para hospedar o SSISDB que criaremos e gerenciaremos em seu nome.

1. Para Assinatura, selecione a assinatura do Azure que tem o servidor de banco de dados para hospedar o SSISDB.

2. Para Local, selecione o local do seu servidor de banco de dados para hospedar o SSISDB. É recomendável que você selecione o mesmo local do seu runtime de integração.

3. Para Ponto de extremidade de servidor de banco de dados de catálogo, selecione o ponto de extremidade do seu servidor de banco de dados para hospedar o SSISDB.

   Com base no servidor de banco de dados selecionado, a instância do SSISDB pode ser criada em seu nome como um banco de dados individual, como parte de um pool elástico ou em uma instância gerenciada. Ela pode ser acessível em uma rede pública ou ingressando em uma rede virtual. Para obter orientações sobre como escolher o tipo de servidor de banco de dados para hospedar o SSISDB, veja Comparar o Banco de Dados SQL e a Instância Gerenciada de SQL.

   Se você selecionar um servidor do Banco de Dados SQL do Azure com regras de firewall de IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB ou se você exigir acesso a dados locais sem configurar o IR auto-hospedado, precisará associar o Azure-SSIS IR a uma rede virtual. Para obter mais informações, confira Criar o Azure-SSIS IR em uma rede virtual.

4. Selecione a caixa de seleção Usar a autenticação do Microsoft Entra com a identidade gerenciada do sistema para Data Factory ou usar a autenticação do Microsoft Entra com uma identidade gerenciada atribuída pelo usuário para a caixa de seleção Data Factory para escolher o método de autenticação do Microsoft Entra para o Azure-SSIS IR para acessar o servidor de banco de dados que hospeda o SSISDB. Não marque nenhuma das caixas de seleção para escolher o método de autenticação SQL.

   Se você selecionar qualquer uma das caixas de seleção, precisará adicionar a identidade gerenciada atribuída pelo sistema/usuário especificada para o data factory em um grupo do Microsoft Entra com permissões de acesso ao servidor de banco de dados. Se você selecionar a caixa de seleção Usar a autenticação do Microsoft Entra com uma identidade gerenciada atribuída pelo usuário para o Data Factory, poderá selecionar as credenciais existentes criadas usando suas identidades gerenciadas atribuídas pelo usuário especificadas ou criar novas. Para obter mais informações, confira Criar um Azure-SSIS IR com a autenticação do Microsoft Entra.

5. Para Nome de Usuário do Administrador, insira o nome de usuário de autenticação do SQL para o servidor de banco de dados que hospeda o SSISDB.

6. Para Senha do Administrador, insira a senha de autenticação do SQL para o servidor de banco de dados que hospeda o SSISDB.

7. Marque a caixa de seleção Usar par do Azure-SSIS Integration Runtime de espera duplo com failover de SSISDB para configurar um par do Azure SSIS IR de espera duplo que funcione em sincronia com o grupo de failover do Banco de Dados SQL do Azure/Instância Gerenciada para BCDR (continuidade dos negócios e recuperação de desastres).

   Se você marcar a caixa de seleção, insira um nome para identificar seu par de Azure-SSIS IRs primário e secundário na caixa de texto Nome de par de espera dupla. Você precisa inserir o mesmo nome de par ao criar os Azure-SSIS IRs primário e secundário.

   Para obter mais informações, confira Configurar seu Azure-SSIS IR para BCDR.

8. Para Camada de Serviço de Banco de Dados de Catálogo, selecione a camada de serviço para o seu servidor de banco de dados na qual hospedar o SSISDB. Selecione a camada Básica, Standard ou Premium ou selecione um nome de pool elástico.

Selecione Testar conectividade quando aplicável e, se o teste for bem sucedido, selecione Continuar.

Criação do repositórios de pacotes do Azure-SSIS IR

Na página Configurações da implantação do painel Instalação do Runtime de Integração, se você quiser gerenciar seus pacotes que são implantados no MSDB, no sistema de arquivos ou nos Arquivos do Azure (modelo de implantação de pacote) com repositórios de pacotes do Azure-SSIS IR, marque a caixa de seleção Criar repositórios de pacotes para gerenciar seus pacotes implantados no sistema de arquivos/nos Arquivos do Azure, no banco de dados do SQL Server (MSDB) hospedado pela Instância Gerenciada de SQL do Azure.

O repositório de pacotes do Azure-SSIS IR permite que você importe/exporte/exclua/execute pacotes e monitore/interrompa a execução de pacotes por meio do SSMS de modo semelhante ao repositório de pacotes SSIS herdado. Para obter mais informações, consulte Gerenciar pacotes SSIS com os repositórios de pacotes Azure-SSIS IR.

Se você marcar essa caixa de seleção, poderá adicionar vários repositórios de pacotes ao seu Azure-SSIS IR selecionando Novo. Por outro lado, um repositório de pacotes pode ser compartilhado por vários Azure-SSIS IRs.

No painel Adicionar repositório de pacotes, conclua as seguintes etapas.

1. Para Nome do repositório de pacotes, insira o nome do seu repositório de pacotes.

2. Para Serviço vinculado do repositório de pacotes, selecione o serviço vinculado existente que armazena as informações de acesso do sistema de arquivos/Arquivos do Azure/Instância Gerenciada de SQL do Azure em que os pacotes são implantados ou crie um selecionando Novo. No painel Novo serviço vinculado, complete as seguintes etapas.

   Observação

   É possível usar o Armazenamento de Arquivos do Azure ou os serviços vinculados do Sistema de Arquivos para acessar os Arquivos do Azure. Caso use o serviço vinculado do Armazenamento de Arquivos do Azure, o repositório de pacotes do Azure-SSIS IR será compatível somente com o método de autenticação Básica (não com a Chave de conta nem com o URI de SAS) por enquanto.

   

   1. Para Nome, insira o nome do seu serviço vinculado.

   2. Para Descrição, insira a descrição do seu serviço vinculado.

   3. Para Tipo, selecione Armazenamento de Arquivos do Azure, Instância Gerenciada de SQL do Azure ou Sistema de Arquivos.

   4. Você pode ignorar Conectar via runtime de integração, pois sempre usamos seu Azure-SSIS IR para buscar as informações de acesso para os repositórios de pacotes.

   5. Se você escolher Armazenamento de Arquivos do Azure, para Método de autenticação, escolha Básico e conclua as etapas a seguir.

      1. Para Método de seleção de conta, selecione Da assinatura do Azure ou Inserir manualmente.

      2. Se você selecionar Da assinatura do Azure, selecione a Assinatura do Azure relevante, o Nome da conta de armazenamento e o Compartilhamento de arquivo.

      3. Se você selecionar Inserir manualmente, insira \\<storage account name>.file.core.windows.net\<file share name> para Host, Azure\<storage account name> para Nome de usuário e <storage account key> para Senha ou selecione Azure Key Vault no local em que ele está armazenado como um segredo.

   6. Se você selecionar Instância Gerenciada de SQL do Azure, conclua as etapas a seguir.

      1. Escolha Cadeia de conexão ou o Azure Key Vault no qual ela está armazenada como um segredo.

      2. Se você selecionar Cadeia de conexão, conclua as etapas a seguir.

         1. Para Método de seleção de conta, se você escolher Da assinatura do Azure, escolha a Assinatura do Azure, o Nome do servidor, o Tipo de ponto de extremidade e o Nome do banco de dados. Se você escolher Inserir manualmente, conclua as etapas a seguir.

            1. Para Nome de domínio totalmente qualificado, insira <server name>.<dns prefix>.database.windows.net ou <server name>.public.<dns prefix>.database.windows.net,3342 como o ponto de extremidade público ou privado de sua Instância Gerenciada de SQL do Azure, respectivamente. Se você inserir o ponto de extremidade privado, Testar conectividade não será aplicável, já que a interface do usuário do ADF não conseguirá acessá-lo.

            2. Para Nome do banco de dados, insira msdb.

         2. Para Tipo de autenticação, escolha Autenticação SQL, Identidade gerenciada, Entidade de serviçoou Identidade gerenciada atribuída pelo usuário.

            • Se você selecionar Autenticação do SQL, insira o Nome de usuário relevante e a Senha ou selecione o Azure Key Vault no local em que ele está armazenado como um segredo.

            • Se selecionar Identidade Gerenciada, conceda à identidade gerenciada do sistema o acesso do ADF à Instância Gerenciada de SQL do Azure.

            • Se você selecionar Entidade de Serviço, insira a ID da entidade de serviço relevante e a Chave da entidade de serviço ou selecione o Azure Key Vault no local em que ele está armazenado como um segredo.

            • Se selecionar Identidade Gerenciada atribuída pelo usuário, conceda à identidade gerenciada atribuída pelo usuário o acesso do ADF à Instância Gerenciada de SQL do Azure. Você pode selecionar as credenciais existentes criadas usando as identidades gerenciadas atribuídas pelo usuário especificadas ou criar novas.

   7. Se você selecionar Sistema de arquivos, insira o caminho UNC da pasta na qual os pacotes estão implantados para Host, bem como o Nome de usuário relevante e a Senha ou selecione seu Azure Key Vault no local em que ele está armazenado como um segredo.

   8. Selecione Testar conectividade quando aplicável e, se tiver êxito, selecione Criar.

3. Os repositórios de pacotes adicionados serão exibidos na página Configurações de implantação. Para removê-los, marque suas caixas de seleção e, em seguida, selecione Excluir.

Selecione Testar conectividade quando aplicável e, se o teste for bem sucedido, selecione Continuar.

Página Configurações avançadas

Na página Configurações avançadas do painel Instalação do runtime de integração, conclua as etapas a seguir.

1. Para Execuções Paralelas Máximas por Nó, selecione o número máximo de pacotes para executar simultaneamente por nó no cluster do runtime de integração. Somente os números de pacotes com suporte são exibidos. Selecione um número baixo, se você quiser usar mais de um núcleo para executar um único pacote grande que tenha uso intensivo de computação ou de memória. Selecione um número alto, se você quiser executar um ou mais pacotes pequenos em um único núcleo.

2. Marque a caixa de seleção Personalizar seu Azure-SSIS Integration Runtime com configurações de sistema adicionais/instalações de componentes para escolher se deseja adicionar as configurações personalizadas padrão/expressas no Azure-SSIS IR. Para obter mais informações, confira Configuração personalizada para um Azure-SSIS IR.

3. Marque a caixa de seleção Selecionar uma VNet para seu Azure-SSIS Integration Runtime para ingressar e permitir que o Data Factory crie determinados recursos de rede e, opcionalmente, traga seus próprios endereços IP públicos estáticos para escolher se deseja ingressar o Azure-SSIS IR em uma rede virtual.

   Selecione se você usar um servidor do Banco de Dados SQL do Azure com regras de firewall de IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB ou se você exigir acesso a dados locais sem configurar um IR auto-hospedado. Para obter mais informações, confira Criar o Azure-SSIS IR em uma rede virtual.

4. Marque a caixa de seleção Configurar o runtime de integração auto-hospedada como um proxy para o Azure-SSIS Integration Runtime para escolher se você deseja ou não configurar um IR auto-hospedado como proxy para o seu Azure-SSIS IR. Para obter mais informações, veja Configurar um IR auto-hospedado como proxy.

5. Selecione Continuar.

Na página Resumo do painel Instalação do runtime de integração, examine todas as configurações de provisionamento, marque os links de documentação recomendados e selecione Criar para iniciar a criação do runtime de integração.

Observação

Excetuando tempo de instalação personalizado ou o caso de o SSIS IR não estar usando a injeção de VNet padrão, esse processo será concluído dentro de 5 minutos na maioria das vezes.

Se você usa o SSISDB, ele é preparado pelo serviço Data Factory, que se conecta ao seu servidor de banco de dados para esse fim.

Quando você provisiona o Azure-SSIS IR, o Azure Feature Pack para SSIS e o Access Redistribuível também são instalados. Esses componentes fornecem conectividade para arquivos do Excel, arquivos do Access e para várias fontes de dados do Azure, além das fontes de dados que já são compatíveis com os componentes internos. Para obter mais informações sobre os componentes internos/pré-instalados, consulte Componentes internos/pré-instalados no Azure-SSIS IR. Para mais informações sobre componentes adicionais que você pode instalar, confira Instalação personalizada de um Azure-SSIS IR.

Painel Conexões

No painel Conexões do hub Gerenciar, mude para a página Runtimes de integração e selecione Atualizar.

Você pode editar/reconfigurar seu Azure-SSIS IR selecionando seu nome. Você também pode selecionar os botões relevantes para monitorar/iniciar/parar/excluir seu Azure-SSIS IR, gerar automaticamente um pipeline do ADF com a atividade Executar Pacote do SSIS para execução em seu Azure-SSIS IR e exibir o código/conteúdo JSON de seu Azure-SSIS IR. Editar/excluir seu Azure-SSIS IR só pode ser feito quando for ele estiver interrompido.

Implantar pacotes do SSIS

Se usar o SSISDB, você poderá implantar seus pacotes nele e executá-los no Azure-SSIS IR usando as SSDT habilitadas para Azure ou as ferramentas do SSMS. Essas ferramentas se conectam ao servidor de banco de dados por meio do ponto de extremidade do servidor:

• Para um servidor do Banco de Dados SQL do Azure, o formato de ponto de extremidade do servidor é <server name>.database.windows.net.
• Para uma instância gerenciada com ponto de extremidade privado, o formato de ponto de extremidade do servidor é <server name>.<dns prefix>.database.windows.net.
• Para uma instância gerenciada com ponto de extremidade público, o formato de ponto de extremidade do servidor é <server name>.public.<dns prefix>.database.windows.net,3342.

Se não usar o SSISDB, você poderá implantar os pacotes no sistema de arquivos, nos Arquivos do Azure ou no MSDB hospedado pela Instância Gerenciada de SQL do Azure e executá-los no Azure-SSIS IR usando os utilitários de linha de comando dtutil e AzureDTExec.

Para saber mais, confira Implantar projetos/pacotes do SSIS.

Nos dois casos, você também pode executar os pacotes implantados no Azure-SSIS IR usando a atividade Executar Pacote SSIS em pipelines do Data Factory. Para obter mais informações, confira Invocar execução do pacote SSIS como uma atividade de Data Factory de primeira classe.

Confira também a documentação do SSIS a seguir:

• Implantar, executar e monitorar pacotes do SSIS no Azure
• Conectar-se ao SSISDB no Azure
• Agendar a execução de pacotes no Azure
• Conecte-se a fontes de dados locais com a autenticação do Windows

Conteúdo relacionado

Para saber mais sobre como personalizar o runtime de integração do Azure-SSIS, avance para o artigo a seguir:

Personalizar um Azure-SSIS IR