Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Este tutorial ajuda você a acelerar o processo de avaliação do Data Factory no Microsoft Fabric, fornecendo as etapas para um cenário completo de integração de dados em uma hora. Ao final deste tutorial, você entende o valor e os principais recursos do Data Factory e sabe como concluir um cenário comum de integração de dados de ponta a ponta.
O cenário está dividido em uma introdução e três módulos:
- Introdução ao tutorial e por que você deve usar o Data Factory no Microsoft Fabric.
- Módulo 1: Crie um pipeline com o Data Factory para ingerir dados brutos de um armazenamento Blob para uma tabela de camada de dados bronze num data Lakehouse.
- Módulo 2: Transforme dados com um fluxo de dados no Data Factory para processar os dados brutos da sua tabela bronze e movê-los para uma tabela de camada de dados dourada no Lakehouse de dados.
- Módulo 3: Conclua sua primeira jornada de integração de dados e envie um e-mail para notificá-lo assim que todos os trabalhos forem concluídos e, finalmente, configure todo o fluxo para ser executado em um cronograma.
Por que o Data Factory no Microsoft Fabric?
O Microsoft Fabric fornece uma plataforma única para todas as necessidades analíticas de uma empresa. Ele abrange o espectro de análises, incluindo movimentação de dados, data lakes, engenharia de dados, integração de dados, ciência de dados, análise em tempo real e business intelligence. Com o Fabric, não há necessidade de unir diferentes serviços de vários fornecedores. Em vez disso, seus usuários desfrutam de um produto abrangente que é fácil de entender, criar, integrar e operar.
O Data Factory in Fabric combina a facilidade de utilização do Power Query com a escala e o poder do Azure Data Factory. Ele reúne o melhor de ambos os produtos em uma única experiência. O objetivo é que os desenvolvedores de dados cidadãos e profissionais tenham as ferramentas certas de integração de dados. O Data Factory oferece experiências de preparação e transformação de dados low-code, habilitadas para IA, transformação em escala de petabytes e centenas de conectores com conectividade híbrida e multicloud.
Três características principais do Data Factory
- Ingestão de dados: A atividade de cópia em pipelines (ou o trabalho de cópia autônomo) permite mover dados em escala de petabytes de centenas de fontes de dados para o Lakehouse de dados para processamento posterior.
- Transformação e preparação de dados: O Dataflow Gen2 fornece uma interface low-code para transformar seus dados usando transformações de dados 300+, com a capacidade de carregar os resultados transformados em vários destinos, como bancos de dados SQL do Azure, Lakehouse e muito mais.
- Automação de ponta a ponta: Os pipelines fornecem orquestração de atividades que incluem atividades de Cópia, Fluxo de Dados e Bloco de Anotações, e muito mais. As atividades em um pipeline podem ser encadeadas para operar sequencialmente ou podem operar de forma independente em paralelo. Todo o seu fluxo de integração de dados é executado automaticamente e pode ser monitorado em um só lugar.
Arquitetura tutorial
Nos próximos 50 minutos, você aprenderá sobre os três principais recursos do Data Factory ao concluir um cenário de integração de dados de ponta a ponta.
O cenário está dividido em três módulos:
- Módulo 1: Crie um pipeline com o Data Factory para ingerir dados brutos de um armazenamento Blob para uma tabela de camada de dados bronze num data Lakehouse.
- Módulo 2: Transforme dados com um fluxo de dados no Data Factory para processar os dados brutos da sua tabela bronze e movê-los para uma tabela de camada de dados ouro no data Lakehouse.
- Módulo 3: Conclua sua primeira jornada de integração de dados e envie um e-mail para notificá-lo assim que todos os trabalhos forem concluídos e, finalmente, configure todo o fluxo para ser executado em um cronograma.
Use o conjunto de dados de exemplo NYC-Taxi como a fonte de dados para o tutorial. Depois de terminar, você poderá obter informações sobre descontos diários em tarifas de táxi por um período de tempo específico usando o Data Factory no Microsoft Fabric.
Próximo passo
Continue para a próxima seção para criar seu pipeline de dados.