Provisione o runtime de integração Azure-SSIS no Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Data Factory em Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA incorporada e novas funcionalidades. Se és novo na integração de dados, começa pelo Fabric Data Factory. As cargas de trabalho existentes do ADF podem atualizar para o Fabric para aceder a novas capacidades em ciência de dados, análise em tempo real e relatórios.

• Inicia um teste gratuito Fabric.
• Upgrade do Azure Data Factory para Data Factory em Microsoft Fabric

Este tutorial fornece etapas para usar o portal do Azure para provisionar um tempo de execução (IR) de integração do Azure-SQL Server Integration Services (SSIS) no Azure Data Factory (ADF). Um Azure-SSIS IR suporta:

• Pacotes em execução implementados no catálogo do SSIS (SSISDB) alojado pelo servidor/Instância Gerida da Base de Dados SQL do Azure (Modelo de Implementação de Projetos)
• Pacotes em execução implementados no sistema de ficheiros, Ficheiros do Azure ou base de dados do SQL Server (MSDB) alojados pelo Azure SQL Managed Instance (Modelo de Implementação de Pacotes)

Após o aprovisionamento de um Azure-SSIS IR, pode utilizar ferramentas familiares para implementar e executar os pacotes no Azure. Essas ferramentas já estão habilitadas para o Azure e incluem o SSDT (SQL Server Data Tools), o SQL Server Management Studio (SSMS) e utilitários de linha de comando como dtutil e AzureDTExec.

Para obter informações concetuais sobre os IRs do Azure-SSIS, veja Visão geral do ambiente de execução de integração Azure-SSIS.

Neste tutorial, vai concluir os seguintes passos:

• Criar uma fábrica de dados.
• Aprovisionar um runtime de integração Azure-SSIS.

Pré-requisitos

Nota

Recomendamos que utilize o módulo Azure Az do PowerShell para interagir com o Azure. Para começar, consulte Instalar o Azure PowerShell. Para saber como migrar para o módulo do Az PowerShell, veja Migrar o Azure PowerShell do AzureRM para o Az.

• Subscrição do Azure. Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

• Servidor do Banco de Dados SQL do Azure (opcional). Se ainda não tiver um servidor de base de dados, crie um no portal do Azure antes de começar. O Data Factory, por sua vez, criará uma instância do SSISDB nesse servidor de banco de dados.

  Recomendamos que crie o servidor de base de dados na mesma região do Azure que o integration runtime. Esta configuração permite que o ambiente de execução da integração grave logs de execução no SSISDB sem atravessar regiões do Azure.

  Tenha em consideração estes pontos:

  • Com base no servidor de banco de dados selecionado, a instância do SSISDB pode ser criada em seu nome como um único banco de dados, como parte de um pool elástico ou em uma instância gerenciada. Pode ser acessível numa rede pública ou através da adesão a uma rede virtual. Para obter orientação sobre como escolher o tipo de servidor de banco de dados para hospedar o SSISDB, consulte Comparar o Banco de Dados SQL e a Instância Gerenciada SQL.

    Se você usar um servidor do Banco de Dados SQL do Azure com regras de firewall IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB, ou se precisar de acesso a dados locais sem configurar um IR auto-hospedado, precisará unir seu IR do Azure-SSIS a uma rede virtual. Para obter mais informações, consulte Criar um IR do Azure-SSIS em uma rede virtual.

  • Confirme que a definição Permitir acesso aos serviços do Azure está ativada para o servidor da base de dados. Essa configuração não é aplicável quando você usa um servidor do Banco de Dados SQL do Azure com regras de firewall IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB. Para obter mais informações, consulte Proteger o Banco de Dados SQL do Azure. Para habilitar essa configuração usando o PowerShell, consulte New-AzSqlServerFirewallRule.

  • Adicione o endereço IP da máquina cliente, ou um intervalo de endereços IP que inclua o endereço IP da máquina cliente, à lista de endereços IP do cliente nas configurações de firewall do servidor de banco de dados. Para obter mais informações, veja Regras de firewall ao nível do servidor da Base de Dados SQL do Azure e ao nível da base de dados.

  • Você pode se conectar ao servidor de banco de dados usando a autenticação SQL com suas credenciais de administrador do servidor ou usando a autenticação do Microsoft Entra com a identidade gerenciada especificada pelo sistema/usuário para sua fábrica de dados. Para este último, deve adicionar a identidade gerida pelo sistema ou atribuída pelo utilizador da sua fábrica de dados num grupo do Microsoft Entra com permissões de acesso ao servidor de base de dados. Para obter mais informações, consulte Criar um IR do Azure-SSIS com autenticação do Microsoft Entra.

  • Confirme se o servidor de banco de dados ainda não tem uma instância do SSISDB. O provisionamento de um IR do Azure-SSIS não oferece suporte ao uso de uma instância SSISDB existente.

Nota

Para obter uma lista de regiões do Azure nas quais o Data Factory e um IR do Azure-SSIS estão atualmente disponíveis, consulte Data Factory e disponibilidade de IR do SSIS por região.

Criar uma fábrica de dados

Para criar sua fábrica de dados por meio do portal do Azure, siga as instruções passo a passo em Criar uma fábrica de dados por meio da interface do usuário. Selecione Fixar no painel durante esta ação para permitir acesso rápido após a sua criação.

Depois que o data factory for criado, abra sua página de visão geral no portal do Azure. Selecione o bloco Abrir o Azure Data Factory Studio para abrir a página Vamos começar em uma guia separada. Lá, você pode continuar a criar seu IR do Azure-SSIS.

Criar um integration runtime do Azure-SSIS

A partir da visão geral do Data Factory

1. Na página inicial, selecione o Mosaico Configurar SSIS.

   

2. Para os restantes passos para configurar um IR Azure-SSIS, veja a secção Aprovisionar um runtime de integração Azure-SSIS.

Da interface do usuário de criação

1. Na interface do utilizador do Azure Data Factory, mude para a aba Gerir e, em seguida, mude para a aba Tempos de execução de integração para ver os tempos de execução de integração existentes na sua fábrica de dados.

   

2. Selecione Novo para criar um IR do Azure-SSIS e abra o painel de configuração do tempo de execução da integração.

   

3. No painel de configuração do tempo de execução de integração, selecione o bloco Levar e transferir pacotes SSIS existentes para executar no Azure, e depois selecione Continuar.

   

4. Para os restantes passos para configurar um IR Azure-SSIS, veja a secção Aprovisionar um runtime de integração Azure-SSIS.

Aprovisionar um runtime de integração Azure-SSIS

O painel de configuração do tempo de execução da integração tem três páginas nas quais você define sucessivamente as configurações gerais, de implantação e avançadas.

Página de configurações gerais

Na página Configurações gerais do painel de configuração do tempo de execução da integração, conclua as etapas a seguir.

1. Em Nome, introduza o nome do seu runtime de integração.

2. Em Descrição, introduza a descrição do seu runtime de integração.

3. Em Localização, selecione a localização do seu runtime de integração. Apenas são apresentadas as localizações suportadas. Recomendamos que selecione a mesma localização do seu servidor de base de dados para alojar a SSISDB.

4. Em Tamanho do Nó, selecione o tamanho do nó no seu cluster de execução de integração. Somente os tamanhos de nó suportados são exibidos. Selecione um tamanho de nó grande (escalonamento) se quiser executar muitos pacotes com uso intensivo de computação ou memória.

5. Em Numero de Nós, selecione o número de nós do cluster do runtime de integração. Apenas são apresentados os números de nó suportados. Selecione um cluster grande com muitos nós (escala para fora) se pretender executar muitos pacotes em simultâneo.

6. Para Edition/License, selecione a edição do SQL Server para seu tempo de execução de integração: Standard ou Enterprise. Selecione Enterprise se quiser usar recursos avançados em seu tempo de execução de integração.

7. Para Economizar dinheiro, selecione a opção Benefício Híbrido do Azure para seu tempo de execução de integração: Sim ou Não. Selecione Sim se quiser trazer sua própria licença do SQL Server com o Software Assurance para se beneficiar da economia de custos com o uso híbrido.

8. Selecione Continuar.

Página de configurações de implantação

Na página Configurações de implementação do painel de configuração da execução integrada, tem as opções para criar repositórios de pacotes SSISDB e/ou Azure-SSIS IR.

Criando SSISDB

Na página de Configurações de Implantação do painel Configuração do tempo de execução da integração, marque a caixa de seleção Criar catálogo SSIS (SSISDB) hospedado por servidor de Banco de Dados SQL do Azure/Instância Gerida para armazenar seus projetos/pacotes/ambientes/logs de execução nos cenários abaixo:

• Modelo de Implantação de Projetos. Você implanta seus pacotes no SSISDB.

• Independentemente do modelo de implantação, usando o SQL Server Agent hospedado pela Instância Gerenciada SQL do Azure para orquestrar/agendar suas execuções de pacote.

  Para obter mais informações, consulte Agendar execuções de pacotes SSIS por meio do Agente de Instância Gerenciada SQL do Azure.

No cenário abaixo, não há necessidade de criar SSISDB nem marcar a caixa de seleção:

• Modelo de Implantação de Pacote e não usar o SQL Server Agent hospedado pela Instância Gerenciada SQL do Azure para orquestrar/agendar a execução do pacote.

  Você implanta seus pacotes no sistema de arquivos, Arquivos do Azure ou banco de dados do SQL Server (MSDB) hospedado pela Instância Gerenciada SQL do Azure (Modelo de Implantação de Pacote) e usa o pipeline do Data Factory para orquestrar/agendar suas execuções de pacote.

Se você marcar a caixa de seleção, conclua as etapas a seguir para trazer seu próprio servidor de banco de dados para hospedar o SSISDB que criaremos e gerenciaremos em seu nome.

1. Em Subscrição, selecione a subscrição do Azure que contém o servidor de base de dados para alojar a SSISDB.

2. Em Localização, selecione a mesma localização do seu servidor de base de dados para alojar a SSISDB. Recomendamos que selecione a mesma localização do seu runtime de integração.

3. Em Ponto Final do Servidor de Base de Dados do Catálogo, selecione o ponto final do seu servidor de base de dados para alojar a base de dados SSISDB.

   Com base no servidor de banco de dados selecionado, a instância do SSISDB pode ser criada em seu nome como um único banco de dados, como parte de um pool elástico ou em uma instância gerenciada. Pode ser acessível numa rede pública ou através da adesão a uma rede virtual. Para obter orientação sobre como escolher o tipo de servidor de banco de dados para hospedar o SSISDB, consulte Comparar o Banco de Dados SQL e a Instância Gerenciada SQL.

   Se você selecionar um servidor do Banco de Dados SQL do Azure com regras de firewall IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB, ou se precisar de acesso a dados locais sem configurar um IR auto-hospedado, precisará unir seu IR do Azure-SSIS a uma rede virtual. Para obter mais informações, consulte Criar um IR do Azure-SSIS em uma rede virtual.

4. Marque a caixa de seleção Usar autenticação do Microsoft Entra com a identidade gerida pelo sistema para o Data Factory ou Usar autenticação do Microsoft Entra com uma identidade gerida e atribuída pelo utilizador para o Data Factory para escolher o método de autenticação do Microsoft Entra que o IR do Azure-SSIS utilizará para aceder ao servidor de base de dados que hospeda o SSISDB. Não marque nenhuma das caixas de seleção para escolher o método de autenticação SQL.

   Se marcar qualquer uma das caixas de seleção, terá de adicionar a identidade gerida especificada atribuída pelo sistema ou pelo utilizador para o seu Data Factory num grupo do Microsoft Entra com permissões de acesso ao servidor de base de dados. Se você marcar a caixa de seleção Usar autenticação do Microsoft Entra com uma identidade gerenciada atribuída pelo usuário para o Data Factory , poderá selecionar quaisquer credenciais existentes criadas usando suas identidades gerenciadas atribuídas pelo usuário especificadas ou criar novas. Para obter mais informações, consulte Criar um IR do Azure-SSIS com autenticação do Microsoft Entra.

5. Em Nome de usuário do administrador, insira o nome de usuário da autenticação SQL para o servidor de banco de dados que hospeda o SSISDB.

6. Em Senha de administrador, insira a senha de autenticação SQL para o servidor de banco de dados que hospeda o SSISDB.

7. Marque a caixa de seleção Usar par de tempo de execução de integração Azure-SSIS de espera dupla com failover de SSISDB para configurar um par de IR SSIS do Azure em espera dupla que funcione em sincronia com o grupo de failover do Banco de Dados SQL/Instância Gerenciada do Azure para continuidade de negócios e recuperação de desastres (BCDR).

   Se selecionar a caixa de verificação, introduza um nome para identificar o seu par de IRs primários e secundários do Azure-SSIS na caixa de texto Nome do par de standby duplo. Você precisa inserir o mesmo nome de par ao criar seus IRs primários e secundários do Azure-SSIS.

   Para obter mais informações, consulte Configurar seu IR do Azure-SSIS para BCDR.

8. Em Catalog Database Service Tier, selecione a camada de serviço do servidor de banco de dados para hospedar o SSISDB. Selecione a camada Básica, Standard ou Premium ou selecione um nome de pool elástico.

Selecione Testar conexão quando aplicável e, se for bem-sucedido, selecione Continuar.

Criando repositórios de pacotes IR do Azure-SSIS

Na página de Configurações de Implantação do painel de configuração do tempo de execução da integração, se quiser gerir os seus pacotes implantados no MSDB, sistema de ficheiros ou nos Ficheiros do Azure (Modelo de Implantação de Pacotes) com armazenamentos de pacotes do Azure-SSIS IR, selecione a caixa de Criação de repositórios de pacotes para gerir os pacotes implantados no sistema de ficheiros/Ficheiros do Azure/base de dados do SQL Server (MSDB) hospedado na Instância Gerenciada SQL do Azure.

O repositório de pacotes IR do Azure-SSIS permite importar/exportar/excluir/executar pacotes e monitorar/parar pacotes em execução, via SSMS, semelhante ao repositório de pacotes SSIS herdado. Para obter mais informações, consulte Gerenciar pacotes SSIS com repositórios de pacotes IR do Azure-SSIS.

Se você marcar essa caixa de seleção, poderá adicionar vários armazenamentos de pacotes ao seu IR do Azure-SSIS selecionando Novo. Por outro lado, um repositório de pacotes pode ser compartilhado por vários IRs do Azure-SSIS.

No painel Adicionar loja de pacotes, conclua as etapas a seguir.

1. Em Nome da loja de pacotes, insira o nome da sua loja de pacotes.

2. Para Serviço vinculado de repositório de pacotes, selecione seu serviço vinculado existente que armazena as informações de acesso para o sistema de arquivos/Arquivos do Azure/Instância Gerenciada SQL do Azure onde seus pacotes são implantados ou crie um novo selecionando Novo. No painel Novo serviço vinculado, conclua as etapas a seguir.

   Nota

   Você pode usar o Armazenamento de Arquivos do Azure ou os serviços vinculados do Sistema de Arquivos para acessar os Arquivos do Azure. Se usar o serviço vinculado do Armazenamento de Arquivos do Azure, o armazenamento de pacotes do Azure-SSIS IR oferece suporte apenas ao método de autenticação Básico (não Chave de Conta nem URI SAS) atualmente.

   

   1. Em Nome, insira o nome do serviço vinculado.

   2. Em Descrição, insira a descrição do serviço vinculado.

   3. Em Tipo, selecione Armazenamento de Arquivos do Azure, Instância Gerenciada SQL do Azure ou Sistema de Arquivos.

   4. Você pode ignorar Connect via integration runtime, já que sempre usamos o seu IR do Azure-SSIS para buscar as informações de acesso para armazenamentos de pacotes.

   5. Se você selecionar Armazenamento de Arquivos do Azure, para Método de autenticação, selecione Básico e conclua as etapas a seguir.

      1. Para método de seleção de conta, selecione Da subscrição do Azure ou Introduzir manualmente.

      2. Se selecionar Da assinatura do Azure, selecione a assinatura do Azure relevante, o nome da conta de armazenamento e a partilha de ficheiros.

      3. Se você selecionar Inserir manualmente, digite \\<storage account name>.file.core.windows.net\<file share name> para Host, Azure\<storage account name> para Nome de usuário e <storage account key> para Senha ou selecione seu Cofre de Chaves do Azure onde ele está armazenado como um segredo.

   6. Se você selecionar Instância Gerenciada SQL do Azure, conclua as etapas a seguir.

      1. Selecione Cadeia de conexão ou seu Azure Key Vault onde ela está armazenada como um segredo.

      2. Se você selecionar Cadeia de conexão, conclua as etapas a seguir.

         1. Para o Método de seleção de Conta, se escolher Da assinatura do Azure, selecione a assinatura relevante do Azure, Nome do servidor, Tipo de ponto de extremidade e Nome do banco de dados. Se você escolher Enter manualmente, conclua as etapas a seguir.

            1. Para Nome de domínio totalmente qualificado, insira <server name>.<dns prefix>.database.windows.net ou <server name>.public.<dns prefix>.database.windows.net,3342 como o ponto de extremidade privado ou público da sua Instância Gerenciada SQL do Azure, respectivamente. Se você inserir o ponto de extremidade privado, a conexão de teste não será aplicável, pois a interface do usuário do ADF não poderá acessá-lo.

            2. Em Nome do banco de dados, digite msdb.

         2. Em Tipo de autenticação, selecione Autenticação SQL, Identidade Gerenciada, Principal de Serviço ou Identidade Gerenciada Atribuída pelo Usuário.

            • Se selecionar Autenticação SQL, introduza o Nome de Utilizador e a Palavra-passe relevantes ou selecione o Cofre da Chave do Azure onde está armazenado como um segredo.

            • Se selecionar Identidade Gerida, conceda à identidade gerida do sistema acesso ao ADF na sua Instância Gerida SQL do Azure.

            • Se selecionar Entidade de Serviço, introduza o ID da entidade de serviço e a chave da entidade de serviço relevantes ou selecione o Azure Key Vault onde está armazenado como um segredo.

            • Se você selecionar Identidade Gerenciada Atribuída pelo Usuário, conceda a identidade gerenciada atribuída pelo usuário especificada para seu acesso do ADF à sua Instância Gerenciada SQL do Azure. Em seguida, você pode selecionar quaisquer credenciais existentes criadas usando suas identidades gerenciadas atribuídas pelo usuário especificadas ou criar novas.

   7. Se você selecionar Sistema de arquivos, insira o caminho UNC da pasta onde seus pacotes são implantados para o Host, bem como o Nome de Usuário e a Senha relevantes ou selecione seu Cofre da Chave do Azure onde ele é armazenado como um segredo.

   8. Selecione Testar conexão quando aplicável e, se for bem-sucedido, selecione Criar.

3. Seus repositórios de pacotes adicionados aparecerão na página Configurações de implantações. Para removê-los, marque suas caixas de seleção e selecione Excluir.

Selecione Testar conexão quando aplicável e, se for bem-sucedido, selecione Continuar.

Página definições avançadas

Na página de Configurações Avançadas do painel de configuração do tempo de execução de integração, conclua os passos a seguir.

1. Para Máximo de execuções paralelas por nó, selecione o número máximo de pacotes a serem executados concorrentemente por nó no cluster de runtime de integração. Apenas são apresentados os números de pacotes suportados. Selecione um número baixo se quiser usar mais de um núcleo para executar um único pacote grande com uso intensivo de computação ou memória. Selecione um número alto se quiser executar um ou mais pacotes pequenos em um único núcleo.

2. Marque a caixa de seleção Personalizar o Runtime de Integração do Azure-SSIS com configurações adicionais/instalações de componentes do sistema para escolher se deseja adicionar configurações personalizadas padrão/expressas ao Azure-SSIS IR. Para obter mais informações, consulte Configuração personalizada para um IR do Azure-SSIS.

3. Marque a caixa de seleção Selecione uma VNet para o seu Azure-SSIS Integration Runtime ingressar, permita que o ADF crie certos recursos de rede e, opcionalmente, adicione os seus próprios endereços IP públicos estáticos para decidir se deseja unir o seu IR do Azure-SSIS a uma rede virtual.

   Selecione-o se você usar um servidor do Banco de Dados SQL do Azure com regras de firewall IP/pontos de extremidade de serviço de rede virtual ou uma instância gerenciada com ponto de extremidade privado para hospedar o SSISDB, ou se precisar de acesso a dados locais sem configurar um IR auto-hospedado. Para obter mais informações, consulte Criar um IR do Azure-SSIS em uma rede virtual.

4. Marque a caixa de seleção Configurar Self-Hosted Integration Runtime como um proxy para o seu Azure-SSIS Integration Runtime para escolher se deseja configurar um IR auto-hospedado como proxy para o seu Azure-SSIS IR. Para obter mais informações, consulte Configurar um IR auto-hospedado como proxy.

5. Selecione Continuar.

Na página Resumo do painel de configuração do tempo de execução da integração, reveja todas as configurações de provisionamento, marque os links de documentação recomendados e selecione Criar para iniciar a criação do seu tempo de execução da integração.

Nota

Excluindo qualquer tempo de configuração personalizado, e o SSIS IR não está usando a injeção de VNet padrão, esse processo será concluído dentro de 5 minutos na maioria dos casos.

Se você usar o SSISDB, o serviço Data Factory se conectará ao servidor de banco de dados para preparar o SSISDB.

Quando você provisiona um IR do Azure-SSIS, o Access Redistributable e o Azure Feature Pack para SSIS também são instalados. Esses componentes fornecem conectividade com arquivos do Excel, arquivos do Access e várias fontes de dados do Azure, além das fontes de dados que os componentes internos já suportam. Para obter mais informações sobre componentes internos/pré-instalados, consulte Componentes internos/pré-instalados no IR do Azure-SSIS. Para obter mais informações sobre componentes adicionais que você pode instalar, consulte Configurações personalizadas para IR do Azure-SSIS.

Painel de Conexões

No painel Conexões do hub Gerir, alterne para a página Tempos de execução de integração e selecione Atualizar.

Você pode editar/reconfigurar seu IR do Azure-SSIS selecionando seu nome. Você também pode selecionar os botões relevantes para monitorar/iniciar/parar/excluir seu IR do Azure-SSIS, gerar automaticamente um pipeline do ADF com a atividade Executar Pacote SSIS para ser executado em seu IR do Azure-SSIS e exibir o código/carga JSON do seu IR do Azure-SSIS. A edição/exclusão do IR do Azure-SSIS só pode ser feita quando ele estiver parado.

Implementar pacotes de SSIS

Se utilizar o SSISDB, poderá implementar os pacotes e executá-los no Azure-SSIS IR com as ferramentas SSDT ou SSMS compatíveis com o Azure. Estas ferramentas ligam-se ao servidor de bases de dados através do ponto final do servidor:

• Para um servidor de base de dados SQL do Azure, o formato do endpoint do servidor é <server name>.database.windows.net.
• Para uma instância gerenciada com ponto de extremidade privado, o formato de ponto de extremidade do servidor é <server name>.<dns prefix>.database.windows.net.
• Para uma instância gerenciada com ponto de extremidade público, o formato de ponto de extremidade do servidor é <server name>.public.<dns prefix>.database.windows.net,3342.

Se não utilizar o SSISDB, poderá implementar os pacotes no sistema de ficheiros, Ficheiros do Azure ou MSDB alojados pelo Azure SQL Managed Instance e executá-los no Azure-SSIS IR com os utilitários de linha de comandos dtutil e AzureDTExec.

Para obter mais informações, veja Implementar projetos/pacotes do SSIS.

Em ambos os casos, também pode executar os pacotes implementados no Azure-SSIS IR utilizando a atividade Executar Pacote SSIS nos Data Factory pipelines. Para obter mais informações, consulte Invocar a execução de pacotes SSIS como uma atividade de primeira classe do Data Factory.

Consulte também a seguinte documentação do SSIS:

• Implementar, executar e monitorizar pacotes do SSIS no Azure
• Ligar ao SSISDB no Azure
• Agendar a execução de pacotes no Azure
• Ligar a origens de dados no local com a autenticação do Windows

Conteúdos relacionados

Para saber mais sobre como personalizar o runtime de integração do Azure-SSIS, avance para o seguinte artigo:

Personalizar um IR do Azure-SSIS