Copie dados do Armazenamento de Blobs do Azure para um Banco de Dados SQL usando a ferramenta Copiar Dados

Artigo
11/02/2023

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Neste tutorial, você pode usar o portal do Azure para criar um Data Factory. Em seguida, você usará a ferramenta Copiar Dados para criar um pipeline que copia dados do Armazenamento de Blobs do Azure para um Banco de Dados SQL.

Observação

Se estiver se familiarizando com o Azure Data Factory, confira Introdução ao Azure Data Factory.

Neste tutorial, você executa as seguintes etapas:

Criar um data factory.
Usar a ferramenta Copy Data para criar um pipeline.
Monitore as execuções de pipeline e de atividade.

Pré-requisitos

Assinatura do Azure: Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
Conta de Armazenamento do Azure: Use o armazenamento de Blobs como um armazenamento de dados de origem. Se você não tiver uma conta de armazenamento do Azure, confira as instruções em Criar uma conta de armazenamento.
Banco de Dados SQL do Azure: Use um Banco de Dados SQL como o armazenamento de dados coletor. Se você não tiver um Banco de Dados SQL, confira as instruções em Criar um Banco de Dados SQL.

Preparar o banco de dados SQL

Permitir que os serviços do Azure acessem o SQL Server lógico do Banco de Dados SQL do Azure.

Verifique se a configuração Permitir que serviços e recursos do Azure acessem este servidor está habilitada para o servidor que executa o Banco de Dados SQL. Essa configuração permite que o Data Factory grave dados em sua instância de banco de dados. Para confirmar e ativar essa configuração, acesse servidor Firewalls de > Segurança > do SQL lógico e redes virtuais > defina a opção Permitir que serviços e recursos do Azure acessem este servidor como ATIVADA.

Observação

A opção de Permitir que serviços e recursos do Azure acessem esse servidor permite o acesso à rede para seu SQL Server de qualquer recurso do Azure, não apenas aqueles em sua assinatura. Pode não ser apropriado para todos os ambientes, mas é apropriado para este tutorial limitado. Para obter mais informações, confira as Regras de firewall do SQL Server do Azure. Em vez disso, você pode usar Pontos de extremidade privados para se conectar aos serviços de PaaS do Azure sem usar IPs públicos.

Criar um blob e uma tabela SQL

Prepare o Armazenamento de Blobs e o Banco de Dados SQL para o tutorial executando estas etapas.

Criar um blob de origem

Inicie o Bloco de notas. Copie o texto a seguir e salve-o em um arquivo chamado inputEmp.txt no disco:
```
FirstName|LastName
John|Doe
Jane|Doe
```
Crie um contêiner chamado adfv2tutorial e carregue o arquivo inputEmp.txt no contêiner. É possível usar o portal do Azure ou várias ferramentas como o Gerenciador de Armazenamento do Azure para executar essas tarefas.

Criar uma tabela do SQL de coletor

Use o seguinte script do SQL para criar uma tabela chamada dbo.emp no Banco de Dados SQL:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Criar uma data factory

No menu à esquerda, selecione Criar um recurso>Integração>Data Factory:
Na página Novo data factory, em Nome, insira ADFTutorialDataFactory.

O nome do seu data factory deve ser globalmente exclusivo. Você deve ver a seguinte mensagem de erro:

Se você receber uma mensagem de erro sobre o valor do nome, insira um nome diferente para o data factory. Por exemplo, use o nome seunomeADFTutorialDataFactory. Para ver as regras de nomenclatura de artefatos do Data Factory, confira Regras de nomenclatura do Data Factory.
Selecione a assinatura do Azure na qual deseja criar o novo data factory.
Em Grupo de Recursos, use uma das seguintes etapas:

a. Selecione Usar existentee selecione um grupo de recursos existente na lista suspensa.

b. Selecione Criar novoe insira o nome de um grupo de recursos.

Para saber mais sobre grupos de recursos, confira Usar grupos de recursos para gerenciar recursos do Azure.
Em versão, selecione V2 para a versão.
Em local, selecione o local para o data factory. Somente os locais com suporte são exibidos na lista suspensa. Os armazenamentos de dados (por exemplo, Armazenamento do Azure e Banco de Dados SQL) e os serviços de computação (por exemplo, Azure HDInsight) usados pelo seu data factory podem estar em outros locais e regiões.
Selecione Criar.
Depois de finalizada a criação, a home page do Data Factory é exibida.
Para iniciar a interface do usuário (IU) do Azure Data Factory em uma guia separada, selecione Abrir no bloco Open Azure Data Factory Studio.

Usar a ferramenta Copy Data para criar um pipeline

Na home page do Azure Data Factory, selecione o bloco Ingerir para a inicialização da ferramenta Copiar Dados.
Na página Propriedades da ferramenta copiar dados, escolha a tarefa de cópia interna em tipo de tarefa e, em seguida, selecione Avançar.
Na página Configurações do armazenamento de dados, conclua as seguintes etapas:

a. Selecione + Criar nova conexão para adicionar uma conexão.

b. Selecione Armazenamento de Blobs do Azure na galeria e, em seguida, selecione Continuar.

c. Na página Nova conexão (Armazenamento de Blobs do Azure) , selecione sua assinatura do Azure na lista de Assinatura do Azure, depois selecione sua conta de armazenamento na lista Nome da conta de armazenamento. Teste a conexão e, em seguida, selecione Concluir.

d. Selecione o serviço vinculado recém-criado como fonte no bloco Conexão.

e. Na seção Arquivo ou pasta, selecione Procurar para navegar até a pasta adfv2tutorial, selecione o arquivo inputEmp.txt e selecione OK.

f. Selecione Avançar para prosseguir para a próxima etapa.
Na página Configurações de formato de arquivo, habilite a caixa de seleção Primeira linha como cabeçalho. Observe que a ferramenta detecta automaticamente os delimitadores de coluna e linha e você pode visualizar dados e exibir o esquema dos dados de entrada selecionando o botão Visualizar dados nesta página. Em seguida, selecione Avançar.
Na página Armazenamento de dados de destino, conclua as seguintes etapas:

a. Selecione + Criar nova conexão para adicionar uma conexão.

b. Selecione Banco de Dados SQL do Azure por meio da galeria e, em seguida, selecione Continuar.

c. Na página Nova conexão (Banco de Dados SQL do Azure) , selecione sua assinatura do Azure, o nome do servidor e o nome do banco de dados na lista suspenso. Em seguida, selecione SQL autenticação em Tipo de autenticação e especifique o nome de usuário e a senha. Teste a conectividade e selecione Criar.

d. Selecione o serviço vinculado recém-criado como coletor e selecione Avançar.
Na página Armazenamento de dados de destino, selecione Usar tabela existente e selecione a tabela dbo.emp. Em seguida, selecione Avançar.
Na página Mapeamento de coluna, observe que a segunda e a terceira colunas do arquivo de entrada são mapeadas para as colunas FirstName e LastName da tabela emp. Ajuste o mapeamento para garantir que não haja nenhum erro e, em seguida, selecione Avançar.
Na página Configurações, em Nome da tarefa, insira CopyFromBlobToSqlPipeline e selecione Avançar.
Na página Resumo, analise as configurações e selecione Avançar.
Na página Implantação, selecione Monitorar para monitorar o pipeline (tarefa).
Na página Execuções de pipeline, selecione Atualizar para atualizar a lista. Selecione o link em Nome do pipeline para ver os detalhes da execução de atividade ou execute o pipeline novamente.
Na página "Execuções de atividade", selecione o link Detalhes (ícone de óculos) na coluna Nome da atividade para obter mais detalhes sobre a operação de cópia. Para voltar à exibição “Execuções de pipeline”, selecione o link Todas as execuções de pipeline no menu de navegação estrutural. Para atualizar a exibição, selecione Atualizar.
Verifique se os dados foram inseridos na tabela dbo.emp no Banco de Dados SQL.
Selecione a guia Criar à esquerda para alternar para o modo de edição. É possível atualizar os serviços vinculados, os conjuntos de dados e os pipelines criados com a ferramenta usando o editor. Para obter detalhes sobre essas entidades na IU do Data Factory, confira em a versão do portal do Azure deste tutorial.