Explorar os pipelines de ingestão de dados
Agora que você entende um pouco sobre a arquitetura de uma solução de data warehousing em grande escala e algumas das tecnologias de processamento distribuído que podem ser usadas para lidar com grandes volumes de dados, é hora de explorar como os dados são incluídos em um armazenamento de dados analíticos de uma ou mais fontes.
No Azure, a ingestão de dados em larga escala é melhor implementada criando pipelines que orquestram processos de ETL. Você poderá criar e executar pipelines usando o Azure Data Factory ou poderá usar o mecanismo de pipeline similar no Azure Synapse Analytics ou Microsoft Fabricse desejar gerenciar todos os componentes da sua solução de análise de dados em um espaço de trabalho unificado.
Em ambos os casos, os pipelines consistem em uma ou mais atividades que operam nos dados. Um conjunto de dados de entrada fornece os dados de origem, e as atividades podem ser definidas como um fluxo de dados que manipula de os dados maneira incremental até que um conjunto de dados de saída seja produzido. Os pipelines podem se conectar a fontes de dados externas para se integrar a uma ampla variedade de serviços de dados.