Ingerir dados no Warehouse usando pipeline de dados

Artigo
04/24/2024

Aplica-se a:✅Warehouse no Microsoft Fabric

Os pipelines de dados oferecem uma alternativa ao uso do comando COPY por meio de uma interface gráfica do usuário. Um pipeline de dados é um agrupamento lógico de atividades que juntas executam uma tarefa de ingestão de dados. Os pipelines permitem que você gerencie atividades ETL (extrair, transformar e carregar) em vez de gerenciar cada uma individualmente.

Nesse tutorial, você criará um novo pipeline que carrega dados de exemplo em um Warehouse no Microsoft Fabric.

Observação

Alguns recursos do Azure Data Factory não estão disponíveis no Microsoft Fabric, mas os conceitos são intercambiáveis. Você pode saber mais sobre Azure Data Factory e Pipelines em Pipelines e atividades no Azure Data Factory e Azure Synapse Analytics. Para um início rápido, visite Início Rápido: Criar seu primeiro pipeline para copiar dados.

Criar um pipeline de dados

Para criar um pipeline, navegue até o workspace, selecione o botão +Novo e selecione Pipeline de dados.
Na caixa de diálogo Novo pipeline, forneça um nome para o novo pipeline e selecione Criar.
Você chegará na área de tela do pipeline, onde verá três opções para começar: Adicionar uma atividade de pipeline, Copiar dados e Escolher uma tarefa para iniciar.

Cada uma dessas opções oferece alternativas diferentes para criar um pipeline:
- Adicionar atividade de pipeline: essa opção inicia o editor de pipeline, no qual você pode criar novos pipelines do zero usando atividades de pipeline.
- Copiar dados: essa opção inicia um assistente passo a passo que ajuda você a selecionar uma fonte de dados, um destino e configurar opções de carregamento de dados, como os mapeamentos de coluna. Após a conclusão, ele cria uma nova atividade de pipeline com uma tarefa Copiar Dados já configurada para você.
- Escolha uma tarefa para começar: essa opção inicia um conjunto de modelos predefinidos para ajudar você a começar a usar pipelines com base em diferentes cenários.
Escolha a opção Copiar dados para iniciar a assistente de Cópia.
A primeira página do assistente de Cópia de dados ajuda você a escolher seus próprios dados de várias fontes de dados ou selecionar um dos exemplos fornecidos para começar. Para este tutorial, usaremos o exemplo do Data Lake da COVID-19 . Selecione esta opção e selecione Avançar.
Na próxima página, você pode selecionar um conjunto de dados, o formato do arquivo de origem e visualizar o conjunto de dados selecionado. Selecione COVID-19 do Bing, o formato CSV e selecione Avançar.
A próxima página, Destinos de dados, permite que você configure o tipo de espaço de trabalho de destino. Carregaremos dados em um warehouse em nosso workspace, portanto, selecione a guia Warehouse e a opção Data Warehouse. Selecione Avançar.
Agora é hora de escolher o warehouse no qual carregar dados. Selecione o warehouse desejado na lista suspensa e selecione Avançar.
A última etapa para configurar o destino é fornecer um nome para a tabela de destino e configurar os mapeamentos de coluna. Aqui você pode optar por carregar os dados em uma nova tabela ou em uma existente, fornecer um esquema e nomes de tabela, alterar nomes de colunas, remover colunas ou alterar seus mapeamentos. Você pode aceitar os padrões ou ajustar as configurações à sua preferência.

Quando terminar de revisar as opções, selecione Avançar.
A próxima página oferece a opção de usar o preparo ou fornecer opções avançadas para a operação de cópia de dados (que usa o comando T-SQL COPY). Examine as opções sem alterá-las e selecione Avançar.
A última página no assistente oferece um resumo da atividade de cópia. Selecione a opção Iniciar transferência de dados imediatamente e selecione Salvar + Executar.
Você é direcionado para a área de tela do pipeline, em que uma nova atividade Copiar Dados já está configurada para você. O pipeline começa a ser executado automaticamente. Você pode monitorar o status do pipeline no painel Saída:
Após alguns segundos, o pipeline será concluído com sucesso. Navegando de volta para o warehouse, você pode selecionar sua tabela para visualizar os dados e confirmar que a operação de cópia foi concluída.