Integrar fluxos de dados Gen2 e pipelines no Microsoft Fabric
Os fluxos de dados de Gen2 fornecem uma excelente opção para transformações de dados no Microsoft Fabric. A combinação de fluxos de dados e pipelines é útil quando você precisa executar operações adicionais nos dados transformados.
Os pipelines de dados são facilmente criados nas cargas de trabalho do Data Factory e de engenharia de dados. Os pipelines são um conceito comum na engenharia de dados e oferecem uma ampla variedade de atividades para orquestração. Algumas atividades comuns incluem o seguinte:
- Copiar dados
- Incorporar fluxos de dados
- Adicionar notebooks
- Obter metadados
- Executar um script ou procedimento armazenado
Os pipelines fornecem uma maneira visual de concluir atividades em uma ordem específica. É possível usar um fluxo de dados para ingestão e transformação de dados e acesso a um lakehouse. Em seguida, é possível incorporar o fluxo de dados em um pipeline para orquestrar atividades adicionais, como executar scripts ou procedimentos armazenados após a conclusão do fluxo de dados.
