Ingerir dados em seu Armazém usando pipelines de dados

Artigo
04/26/2024

Aplica-se a: Armazém no Microsoft Fabric

Os pipelines de dados oferecem uma alternativa ao uso do comando COPY por meio de uma interface gráfica do usuário. Um pipeline de dados é um agrupamento lógico de atividades que, juntas, executam uma tarefa de ingestão de dados. Os pipelines permitem gerenciar atividades de extração, transformação e carregamento (ETL) em vez de gerenciar cada uma individualmente.

Neste tutorial, você criará um novo pipeline que carrega dados de exemplo em um Warehouse no Microsoft Fabric.

Nota

Alguns recursos do Azure Data Factory não estão disponíveis no Microsoft Fabric, mas os conceitos são intercambiáveis. Você pode saber mais sobre o Azure Data Factory e Pipelines em Pipelines e atividades no Azure Data Factory e no Azure Synapse Analytics. Para obter um guia de início rápido, visite Guia de início rápido: crie seu primeiro pipeline para copiar dados.

Criar um pipeline de dados

Para criar um novo pipeline navegue até seu espaço de trabalho, selecione o botão +Novo e selecione Pipeline de dados.
Na caixa de diálogo Novo pipeline, forneça um nome para o novo pipeline e selecione Criar.
Você pousará na área de tela do pipeline, onde verá três opções para começar: Adicionar uma atividade de pipeline, Copiar dados e Escolher uma tarefa para iniciar.

Cada uma dessas opções oferece alternativas diferentes para criar um pipeline:
- Adicionar atividade de pipeline: esta opção inicia o editor de pipeline, onde você pode criar novos pipelines do zero usando atividades de pipeline.
- Copiar dados: esta opção inicia um assistente passo a passo que ajuda a selecionar uma fonte de dados, um destino e configurar opções de carregamento de dados, como os mapeamentos de coluna. Após a conclusão, ele cria uma nova atividade de pipeline com uma tarefa Copiar dados já configurada para você.
- Escolha uma tarefa para começar: esta opção inicia um conjunto de modelos predefinidos para ajudá-lo a começar a usar pipelines com base em diferentes cenários.
Escolha a opção Copiar dados para iniciar o Assistente de cópia.
A primeira página do Assistente de cópia de dados ajuda você a escolher seus próprios dados de várias fontes de dados ou selecionar um dos exemplos fornecidos para começar. Para este tutorial, usaremos o exemplo COVID-19 Data Lake . Selecione esta opção e selecione Avançar.
Na próxima página, você pode selecionar um conjunto de dados, o formato de arquivo de origem e visualizar o conjunto de dados selecionado. Selecione Bing COVID-19, o formato CSV , e selecione Avançar.
A próxima página, Destinos de dados, permite configurar o tipo do espaço de trabalho de destino. Carregaremos dados em um depósito em nosso espaço de trabalho, portanto, selecione a guia Depósito e a opção Data Warehouse . Selecione Seguinte.
Agora é hora de escolher o armazém para carregar dados. Selecione o armazém desejado na lista suspensa e selecione Avançar.
A última etapa para configurar o destino é fornecer um nome para a tabela de destino e configurar os mapeamentos de coluna. Aqui você pode optar por carregar os dados para uma nova tabela ou para uma existente, fornecer um esquema e nomes de tabela, alterar nomes de colunas, remover colunas ou alterar seus mapeamentos. Você pode aceitar os padrões ou ajustar as configurações de acordo com sua preferência.

Quando terminar de rever as opções, selecione Seguinte.
A próxima página oferece a opção de usar preparo ou fornecer opções avançadas para a operação de cópia de dados (que usa o comando T-SQL COPY). Revise as opções sem alterá-las e selecione Avançar.
A última página do assistente oferece um resumo da atividade de cópia. Selecione a opção Iniciar transferência de dados imediatamente e selecione Salvar + Executar.
Você é direcionado para a área de tela do pipeline, onde uma nova atividade de Copiar Dados já está configurada para você. O pipeline começa a ser executado automaticamente. Você pode monitorar o status do pipeline no painel Saída :
Após alguns segundos, o pipeline é concluído com êxito. Navegando de volta ao seu armazém, você pode selecionar sua tabela para visualizar os dados e confirmar que a operação de cópia foi concluída.