Integrar fluxos de dados Gen2 e pipelines no Microsoft Fabric
O Dataflows Gen2 fornece uma excelente opção para transformações de dados no Microsoft Fabric. A combinação de fluxos de dados e pipelines é útil quando você precisa executar operações adicionais nos dados transformados.
Os pipelines de dados são facilmente criados nas cargas de trabalho Data Factory e Data Engineering. Os pipelines são um conceito comum na engenharia de dados e oferecem uma ampla variedade de atividades para orquestrar. Algumas atividades comuns incluem:
- Copiar dados
- Incorporar fluxo de dados
- Adicionar Bloco de Notas
- Obter metadados
- Executar um script ou procedimento armazenado
Os pipelines fornecem uma maneira visual de concluir atividades em uma ordem específica. Você pode usar um fluxo de dados para ingestão e transformação de dados e aterrissar em um Lakehouse usando fluxos de dados. Em seguida, incorpore o fluxo de dados em um pipeline para orquestrar atividades extras, como executar scripts ou procedimentos armazenados após a conclusão do fluxo de dados.
