Copie dados de um banco de dados do SQL Server para um Armazenamento de Blobs do Azure usando a ferramenta Copiar Dados

Artigo
08/10/2023

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Neste tutorial, você pode usar o portal do Azure para criar um Data Factory. Em seguida, use a ferramenta Copiar Dados para criar um pipeline que copia dados de um banco de dados do SQL Server para um Armazenamento de Blobs do Azure.

Observação

Se estiver se familiarizando com o Azure Data Factory, confira Introdução ao Data Factory.

Neste tutorial, você executa as seguintes etapas:

Criar um data factory.
Usar a ferramenta Copy Data para criar um pipeline.
Monitore as execuções de pipeline e de atividade.

Pré-requisitos

Assinatura do Azure

Antes de começar, se você ainda não tiver uma assinatura do Azure, crie uma conta gratuita.

Funções do Azure

Para criar instâncias de data factory, a conta de usuário usada para fazer logon no Azure deve ter uma função Colaborador ou Proprietário atribuída ou deve ser um administrador da assinatura do Azure.

Para exibir as permissões que você tem na assinatura, acesse o portal do Azure. Selecione seu nome de usuário no canto superior direito, depois selecione Permissões. Se tiver acesso a várias assinaturas, selecione a que for adequada. Para obter instruções de exemplo sobre como adicionar um usuário a uma função, confira Atribuir funções do Azure usando o portal do Azure.

SQL Server 2014, 2016 e 2017

Neste tutorial, você usa um banco de dados do SQL Server como um armazenamento de dados de origem. O pipeline no data factory criado neste tutorial copia dados desse banco de dados do SQL Server (origem) para um Armazenamento de Blobs (coletor). Depois você cria uma tabela chamada emp no seu banco de dados do SQL Server e insere algumas entradas de exemplo na tabela.

Inicie o SQL Server Management Studio. Se ainda não estiver instalado em seu computador, vá para Baixar o SQL Server Management Studio.
Conecte-se à sua instância do SQL Server usando suas credenciais.
Crie um banco de dados de exemplo. No modo de exibição de árvore, clique com o botão direito do mouse em Bancos de Dados e selecione Novo Banco de Dados.
Na janela Novo Banco de Dados, digite um nome para o banco de dados e selecione OK.
Para criar a tabela emp e inserir alguns dados de exemplo nela, execute o seguinte script de consulta no banco de dados. No modo de exibição de árvore, clique com o botão direito do mouse no banco de dados que você criou e selecione Nova Consulta.
```
CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO
```

Conta de Armazenamento do Azure

Neste tutorial, você usa uma conta de armazenamento do Azure para fins gerais (especificamente o Armazenamento de blobs) como armazenamento de dados de destino/coletor. Se você não tiver uma conta de armazenamento de fins gerais, confira Criar uma conta de armazenamento para obter instruções sobre como criar uma. O pipeline no data factory criado neste tutorial copia dados desse banco de dados do SQL Server (origem) para esse Armazenamento de Blobs (coletor).

Obter o nome da conta de armazenamento e a chave da conta

Use o nome e a chave da sua conta de armazenamento neste tutorial. Para obter o nome e a chave da sua conta de armazenamento, realize as etapas a seguir:

Entre no Portal do Azure com seu nome de usuário e senha do Azure.
No painel esquerdo, selecione Todos os serviços. Filtre usando a palavra-chave Armazenamento e selecione Contas de armazenamento.
Na lista de contas de armazenamento, filtre pela sua conta de armazenamento, se necessário. Em seguida, selecione sua conta de armazenamento.
Na janela Conta de armazenamento, selecione Chaves de acesso.
Nas caixas Nome da conta de armazenamento e key1, copie os valores e depois cole-os no Bloco de Notas ou outro editor para uso posterior neste tutorial.

Criar um data factory

No menu à esquerda, selecione Criar um recurso>Integração>Data Factory.
Na página Novo data factory, em Nome, insira ADFTutorialDataFactory.

O nome do data factory deve ser globalmente exclusivo. Se a seguinte mensagem de erro for exibida para o campo nome, altere o nome do data factory (por exemplo, yournameADFTutorialDataFactory). Para ver as regras de nomenclatura para artefatos do Data Factory, confira Data Factory – Regras de nomenclatura.
Selecione a assinatura do Azure na qual deseja criar o data factory.
Em Grupo de Recursos, use uma das seguintes etapas:
- Selecione Usar existentee selecione um grupo de recursos existente na lista suspensa.
- Selecione Criar novoe insira o nome de um grupo de recursos.
  
  Para saber mais sobre grupos de recursos, confira Usar grupos de recursos para gerenciar recursos do Azure.
Em Versão, selecione V2.
Em Local, selecione o local para o data factory. Apenas os locais com suporte são exibidos na lista suspensa. Os armazenamentos de dados (por exemplo, Armazenamento do Azure e Banco de Dados SQL) e os serviços de computação (por exemplo, Azure HDInsight) usados pelo Data Factory podem estar em outros locais/regiões.
Selecione Criar.
Depois de finalizada a criação, a página Data Factory será exibida conforme mostrado na imagem.
Selecione Abrir no bloco Abrir Azure Data Factory Studio para iniciar a interface do usuário do Data Factory em uma guia separada.

Usar a ferramenta Copy Data para criar um pipeline

Na home page do Azure Data Factory, selecione Ingerir para iniciar a ferramenta Copiar Dados.
Na página Propriedades da ferramenta Copiar dados, escolha Tarefa de cópia interna em Tipo de tarefa e Executar uma vez agora em Cadência da tarefa ou agendamento da tarefa e selecione Avançar.
Na página Armazenamento de dados de origem, selecione + Criar conexão.
Em Nova conexão, procure SQL Server e selecione Continuar.
Na caixa de diálogo Nova conexão (SQL Server) , em Nome, insira SqlServerLinkedService. Selecione +Novo em Conectar por meio do runtime de integração. Você deve criar um runtime de integração auto-hospedada, baixá-lo para seu computador e registrá-lo com o Data Factory. O runtime de integração auto-hospedada copia dados entre seu ambiente local e a nuvem.
Na caixa de diálogo Instalação do runtime de integração, selecione Auto-hospedado. Depois selecione Continuar.
Na caixa de diálogo Instalação do runtime de integração, em Nome, insira TutorialIntegrationRuntime. Em seguida, selecione Criar.
Na caixa de diálogo Instalação do runtime de integração, selecione Clique aqui para iniciar a instalação expressa para este computador. Essa ação instala o Integration Runtime em seu computador e o registra com o Data Factory. Como alternativa, você pode usar a opção de baixar o arquivo de instalação manual, executá-lo e usar a chave para registrar o runtime de integração.
Execute o aplicativo baixado. Você verá o status da instalação rápida na janela.
Na caixa de diálogo Nova Conexão (SQL Server) , confirme se TutorialIntegrationRuntime está selecionado em Conectar por meio do runtime de integração. Em seguida, execute as etapas a seguir:

a. Em Nome, insira SqlServerLinkedService.

b. Em Nome do servidor, insira o nome da instância do SQL Server.

c. Em Nome do banco de dados, insira o nome do seu banco de dados local.

d. Em Tipo de autenticação, selecione a autenticação adequada.

e. Em Nome de usuário, insira o nome de usuário com acesso ao SQL Server.

f. Insira a senha do usuário.

g. Teste a conectividade e selecione Criar.
Na página Armazenamento de dados de origem, verifique se a conexão recém-criada do SQL Server está selecionada no bloco Conexão. Em seguida, na seção Tabelas de origem, escolha TABELAS EXISTENTES e selecione a tabela dbo.emp na lista e Avançar. Você pode selecionar qualquer outra tabela com base em seu banco de dados.
Na página Aplicar filtro, visualize os dados e veja o esquema dos dados de entrada selecionando o botão Visualizar dados. Em seguida, selecione Avançar.
Na página Armazenamento de dados de destino, selecione + Criar conexão
Em Nova conexão, procure e selecione Armazenamento de Blobs do Azure e escolha Continuar.
Na caixa de diálogo Nova conexão (Armazenamento de Blobs do Azure) , execute as seguintes etapas:

a. Em Nome, insira AzureStorageLinkedService.

b. Em Conectar por meio do runtime de integração, selecione TutorialIntegrationRuntime e escolha Chave de conta em Método de autenticação.

c. Em Assinatura do Azure, selecione sua assinatura do Azure na lista suspensa.

d. Em Nome da conta de armazenamento, selecione sua conta de armazenamento na lista suspensa.

e. Teste a conectividade e selecione Criar.
Na caixa de diálogo Armazenamento de dados de destino, verifique se a conexão recém-criada do Armazenamento de Blobs do Azure está selecionada no bloco Conexão. Em Caminho da pasta, insira adftutorial/fromonprem. Você criou o contêiner adftutorial como parte dos pré-requisitos. Se a pasta de saída não existir (neste caso fromonprem), o Data Factory a cria automaticamente. Também é possível usar o botão Procurar para navegar no armazenamento de blobs e seus contêineres/pastas. Se você não especificar nenhum valor em Nome de arquivo, por padrão o nome da fonte será usado (neste caso dbo.emp).
Na caixa de diálogo Configurações de formato de arquivo, selecione Avançar.
Na caixa de diálogo Configurações, em Nome da tarefa, insira CopyFromOnPremSqlToAzureBlobPipeline e selecione Avançar. A ferramenta Copy Data cria um pipeline com o nome especificado para este campo.
Na caixa de diálogo Resumo, revise os valores para todas as configurações e selecione Avançar.
Na página Implantação, selecione Monitorar para monitorar o pipeline (tarefa).
Quando a execução do pipeline for concluída, será possível exibir o status do pipeline que você criou.
Na página "Execuções de pipeline", selecione Atualizar para atualizar a lista. Selecione o link em Nome do pipeline para ver os detalhes da execução de atividade ou execute o pipeline novamente.
Na página "Execuções de atividade", selecione o link Detalhes (ícone de óculos) na coluna Nome da atividade para obter mais detalhes sobre a operação de cópia. Para voltar à página "Execuções de pipeline", selecione o link Todas as execuções de pipeline no menu de navegação estrutural. Para atualizar a exibição, selecione Atualizar.
Confira se existe o arquivo de saída na pasta fromonprem do contêiner adftutorial.
Selecione a guia Criar à esquerda para alternar para o modo de edição. É possível atualizar serviços vinculados, conjuntos de dados e pipelines criados pela ferramenta usando o editor. Selecione Código para exibir o código JSON associado à entidade aberta no editor. Para obter detalhes sobre como editar essas entidades na interface do usuário do Data Factory, confira a versão do portal do Azure deste tutorial.