Explicar o processo do data factory
Fluxos de trabalho orientados por dados
Normalmente, os pipelines (fluxos de trabalho orientados por dados) no Azure Data Factory executam os quatro passos seguintes:
Ligar e recolher
O primeiro passo na construção de um sistema de orquestração é definir e conectar todas as fontes de dados necessárias, como bancos de dados, compartilhamentos de arquivos e serviços Web FTP. O próximo passo é ingerir os dados conforme necessário para um local centralizado para processamento subsequente.
Transformar e enriquecer
Serviços de computação como Databricks e Machine Learning podem ser usados para preparar ou produzir dados transformados em um cronograma sustentável e controlado para alimentar ambientes de produção com dados limpos e transformados. Em alguns casos, você pode até aumentar os dados de origem com dados adicionais para ajudar na análise ou consolidá-los por meio de um processo de normalização para ser usado em um experimento de Machine Learning como exemplo.
Publicar
Depois que os dados brutos tiverem sido refinados em um formulário consumível pronto para os negócios a partir da fase de transformação e enriquecimento, você poderá carregar os dados no Azure Data Warehouse, no Banco de Dados SQL do Azure, no Azure Cosmos DB ou em qualquer mecanismo de análise para o qual seus usuários corporativos possam apontar a partir de suas ferramentas de business intelligence
Monitorizar
O Azure Data Factory tem suporte interno para monitoramento de pipeline por meio do Azure Monitor, API, PowerShell, logs do Azure Monitor e painéis de integridade no portal do Azure, para monitorar as atividades agendadas e os pipelines para taxas de sucesso e falha.