O que é o Data Factory no Microsoft Fabric?

O Data Factory capacita você com uma experiência moderna de integração de dados para ingerir, preparar e transformar dados de um conjunto avançado de fontes de dados (por exemplo, bancos de dados, data warehouse, Lakehouse, dados em tempo real e muito mais). Se você é um cidadão ou um desenvolvedor profissional, poderá transformar os dados com transformações inteligentes e aproveitar um conjunto avançado de atividades. Podemos criar pipelines para executar uma ou mais atividades, acessar fontes de dados ou serviços por meio de serviços vinculados e, depois de criar um pipeline, adicionar gatilhos para executar automaticamente os processos em momentos específicos ou em resposta a cenários que sofrem alterações. Com o Data Factory no Microsoft Fabric, estamos trazendo recursos de cópia rápida (movimentação de dados) para fluxos de dados e pipelines de dados. Com o Fast Cópia, você pode mover dados entre seus armazenamentos de dados favoritos rapidamente. O mais importante é que o Fast Cópia permite que você traga dados para o Lakehouse e Data Warehouse no Microsoft Fabric para análise.

Há dois recursos primários de alto nível que o Data Factory implementa: fluxos de dados e pipelines.

• Os fluxos de dados permitem aproveitar mais de 300 transformações no designer de fluxos de dados, permitindo que você transforme os dados com mais facilidade e com mais flexibilidade do que qualquer outra ferramenta , incluindo transformações de dados baseadas em IA inteligentes.
• Os pipelines de dados permitem que você aproveite os recursos de orquestração de dados avançados prontos para uso para compor fluxos de trabalho de dados flexíveis que atendam às suas necessidades corporativas.

Fluxos de dados

Os fluxos de dados fornecem uma interface de baixo código para ingerir dados de centenas de fontes de dados, transformando seus dados usando mais de 300 transformações de dados. Em seguida, você pode carregar os dados resultantes em vários destinos, como bancos de dados SQL do Azure e muito mais. Os fluxos de dados podem ser executados repetidamente usando a atualização manual ou agendada ou como parte de uma orquestração de pipeline de dados.

Os fluxos de dados são criados usando a experiência familiar Power Query que está disponível atualmente em vários produtos e serviços da Microsoft, como Excel, Power BI, Power Platform, aplicativos do Dynamics 365 Insights e muito mais. O Power Query possibilita a todos os usuários, de cidadão a integradores de dados profissional, a realizar ingestão de dados e transformações de dados em seu patrimônio de dados. Execute junções, agregações, limpeza de dados, transformações personalizadas e muito mais de uma interface do usuário fácil de usar, altamente visual e de baixo código.

Pipelines de dados

Os pipelines de dados permitem recursos avançados de fluxo de trabalho em escala de nuvem. Com pipelines de dados, você pode criar fluxos de trabalho complexos que podem atualizar seu fluxo de dados, mover dados de tamanho PB e definir pipelines de fluxo de controle sofisticados.

Use pipelines de dados para criar fluxos de trabalho complexos de ETL e data factory que podem executar muitas tarefas diferentes em escala. Os recursos de fluxo de controle são integrados a pipelines de dados que permitem criar lógica de fluxo de trabalho, que fornece loops e condicionais.

Adicione uma atividade de cópia controlada por configuração junto com sua atualização de fluxo de dados de baixo código em um único pipeline para um pipeline de dados ETL de ponta a ponta. Você pode até mesmo adicionar atividades de code-first para Notebooks Spark, scripts SQL, profissionais armazenados e muito mais.

Conteúdo relacionado

Para começar a usar o Microsoft Fabric, acesse Início Rápido: Criar seu primeiro Dataflow Gen2 para obter e transformar dados.