Cenário de ponta a ponta do Data Factory: introdução e arquitetura

Este tutorial ajuda você a acelerar o processo de avaliação do Data Factory no Microsoft Fabric fornecendo uma orientação passo a passo para um cenário completo de integração de dados em uma hora. Ao final deste tutorial, você entende os recursos de valor e chave do Data Factory e sabe como concluir um cenário comum de integração de dados de ponta a ponta.

Visão geral: por que o Data Factory no Microsoft Fabric?

Essa seção ajuda você a entender a função do Fabric em geral e a função que o Data Factory desempenha dentro dela.

Entenda o valor do Microsoft Fabric

O Microsoft Fabric fornece uma loja única para todas as necessidades analíticas para cada empresa. Ele abrange um espectro completo de serviços, incluindo movimentação de dados, data lake, engenharia de dados, integração de dados e ciência de dados, análise em tempo real e business intelligence. Com o Fabric, não é necessário unir diferentes serviços de vários fornecedores. Em vez disso, seus usuários desfrutam de um produto de ponta a ponta, altamente integrado, único e abrangente que é fácil de entender, integrar, criar e operar.

Entenda o valor do Data Factory no Microsoft Fabric

O Data Factory no Fabric combina a facilidade de uso de Power Query com a escala e a potência do Azure Data Factory. Ele reúne o melhor de ambos os produtos em uma experiência unificada. O objetivo é garantir que Integração de Dados no Factory funcione bem para desenvolvedores de dados cidadãos e profissionais. Ele fornece experiências de transformação e preparação de dados habilitadas para IA de baixo código, transformação em escala de petabytes, centenas de conectores com conectividade híbrida e multinuvem. O Purview fornece governança e os recursos de serviço de compromissos de dados/operações de escala empresarial, CI/CD, gerenciamento do ciclo de vida do aplicativo e monitoramento.

Introdução: entenda os três recursos principais do Data Factory

• Ingestão de dados: a atividade de Cópia em pipelines permite mover dados em escala de petabytes de centenas de fontes de dados para seu data Lakehouse para processamento adicional.
• Transformação e preparação de dados: os fluxos de dados Gen2 fornecem uma interface de baixo código para transformar seus dados usando mais de 300 transformações de dados, com a capacidade de carregar os resultados transformados em vários destinos, como bancos de dados SQL do Azure, Lakehouse e muito mais.
• Automação de fluxo de integração de ponta a ponta: os pipelines fornecem orquestração de atividades que incluem atividades de Cópia, Fluxo de Dados e Notebook e muito mais. Isso permite que você gerencie atividades em um só lugar. As atividades em um pipeline podem ser encadeadas para operarem de modo sequencial ou elas podem operar de forma independente em paralelo.

Neste caso de uso de integração de dados de ponta a ponta, você aprenderá:

• Como ingerir dados usando o assistente de cópia em um pipeline
• Como transformar os dados usando um fluxo de dados com uma experiência sem código ou escrevendo seu próprio código para processar os dados com uma atividade de Script ou Notebook
• Como automatizar todo o fluxo de integração de dados de ponta a ponta usando um pipeline com gatilhos e atividades de fluxo de controle flexíveis.

Arquitetura

Nos próximos 50 minutos, você tem a tarefa de concluir um cenário de integração de dados de ponta a ponta. Isso inclui ingerir dados brutos de um repositório de origem na tabela Bronze de um Lakehouse, processar todos os dados, movê-los para a tabela Gold do data Lakehouse, enviar um email para notificá-lo assim que todos os trabalhos forem concluídos e, por fim, configurar todo o fluxo para execução agendada.

O cenário é dividido em três módulos:

• Módulo 1: como criar um pipeline com o Data Factory para ingerir dados brutos de um armazenamento de Blobs para uma tabela Bronze em um data Lakehouse.
• Módulo 2: como transformar dados com um fluxo de dados no Data Factory para processar os dados brutos da tabela Bronze e movê-los para uma tabela Gold no data Lakehouse.
• Módulo 3: conclua seu primeiro percurso de integração de dados para enviar um email para notificá-lo assim que todos os trabalhos forem concluídos e, por fim, configurar todo o fluxo a ser executado em uma base agendada.

Use o conjunto de dados de exemplo NYC-Taxi como a fonte de dados para o tutorial. Depois de concluir, você poderá obter informações sobre descontos diários em tarifas de táxi por um período específico usando o Data Factory no Microsoft Fabric.

Conteúdo relacionado

Nesta introdução ao nosso tutorial de ponta a ponta para sua primeira integração de dados usando o Data Factory no Microsoft Fabric, você aprendeu:

• O valor e a função do Microsoft Fabric
• O valor e a função do Data Factory no Fabric
• Principais recursos do Data Factory
• O que você aprenderá neste tutorial

Continue para a próxima seção agora para criar seu pipeline de dados.

Módulo 1: como criar um pipeline com o Data Factory