O que são fluxos de dados?
Dica
Experimente o Dataflow Gen2 no Data Factory no Microsoft Fabric, uma solução de análise completa para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Os fluxos de dados são uma tecnologia de preparação de dados de autoatendimento baseada em nuvem. Os fluxos de dados permitem que os clientes ingiram, transformem e carreguem dados nos ambientes do Microsoft Dataverse, nos workspaces do Power BI ou na conta do Azure Data Lake Storage da organização. Os fluxos de dados são criados usando o Power Query, uma experiência unificada de preparação e conectividade de dados já oferecidos em muitos produtos da Microsoft, incluindo o Excel e o Power BI. Os clientes podem disparar os fluxos de dados para serem executados sob demanda ou automaticamente de acordo com um agendamento. Os dados são mantidos sempre atualizados.
Os fluxos de dados podem ser criados em vários produtos da Microsoft
Os fluxos de dados são oferecidos em vários produtos da Microsoft e não exigem uma licença específica do fluxo de dados para serem criados ou executados. Os fluxos de dados estão disponíveis no Power Apps, no Power BI e no Dynamics 365 Customer Insights. A capacidade de criar e executar fluxos de dados está incluída em pacotes com as licenças desses produtos. Os recursos de fluxo de dados são mais comuns em todos os produtos em que são oferecidos, mas alguns recursos específicos do produto podem existir nos fluxos de dados criados em um produto em comparação a outro.
Como o fluxo de dados funciona?
A imagem anterior mostra uma exibição geral de como um fluxo de dados é definido. Um fluxo de dados obtém dados de diferentes fontes de dados (já há suporte para mais de 80 fontes de dados). Em seguida, de acordo com as transformações configuradas com a experiência de criação do Power Query, o fluxo de dados transforma os dados usando o mecanismo de fluxo de dados. Por fim, os dados são carregados no destino de saída, que pode ser um ambiente do Microsoft Power Platform, um workspace do Power BI ou a conta Azure Data Lake Storage da organização.
Fluxos de dados executados na nuvem
Os fluxos de dados são baseados em nuvem. Quando um fluxo de dados é criado e salvo, a definição é armazenada na nuvem. Um fluxo de dados também é executado na nuvem. No entanto, se uma fonte de dados for local, um gateway de dados local pode ser usado para extrair os dados para a nuvem. Quando uma execução de fluxo de dados é disparada, a transformação de dados e a computação ocorrem na nuvem e o destino está sempre na nuvem.
Os fluxos de dados usam um mecanismo de transformação eficaz
O Power Query é o mecanismo de transformação de dados usado no fluxo de dados. Esse mecanismo tem capacidade suficiente para permitir muitas transformações avançadas. Ele também usa uma interface de usuário gráfica simples, mas eficiente, chamada Editor do Power Query. Você pode usar os fluxos de dados com este editor para desenvolver as soluções de integração de dados com maior rapidez e facilidade.
Integração do fluxo de dados com o Microsoft Power Platform e o Dynamics 365
Como um fluxo de dados armazena as tabelas resultantes no armazenamento em nuvem, outros serviços podem interagir com os dados produzidos pelos fluxos de dados.
Por exemplo, os aplicativos Power BI, Power Apps, Power Automate, Power Virtual Agents e Dynamics 365 podem obter os dados produzidos pelo fluxo de dados conectando-se ao Dataverse, a um conector de fluxo de dados do Power Platform ou diretamente pelo lake, de acordo com o destino configurado no momento da criação do fluxo de dados.
Benefícios dos fluxos de dados
A lista a seguir destaca alguns dos benefícios do uso de fluxos de dados:
Um fluxo de dados separa a camada de transformação de dados da camada de modelagem e visualização em uma solução do Power BI.
O código de transformação de dados pode residir em um local central, um fluxo de dados, em vez de ser distribuído em vários artefatos.
Um criador de fluxo de dados só precisa das habilidades do Power Query. Em um ambiente com vários criadores, o criador de fluxo de dados pode fazer parte de uma equipe que, em conjunto, compila toda a solução de BI ou o aplicativo operacional.
Um fluxo de dados é independente do produto. Não se trata apenas um componente do Power BI. Você pode obter os dados em outras ferramentas e serviços.
Os fluxos de dados aproveitam o Power Query, uma experiência de transformação de dados de autoatendimento, gráfica e eficiente.
Os fluxos de dados são executados inteiramente na nuvem. Nenhuma outra infraestrutura é necessária.
Você tem várias opções para começar a trabalhar com os fluxos de dados, usando as licenças do Power Apps, do Power BI e do Customer Insights.
Embora os fluxos de dados possam fazer transformações avançadas, eles são criados para cenários de autoatendimento e não exigem experiência de TI ou de desenvolvedor.
Cenários de caso de uso para fluxos de dados
Você pode usar os fluxos de dados para muitas finalidades. Os cenários a seguir fornecem alguns exemplos de casos de uso comuns para fluxos de dados.
Migração de dados de sistemas herdados
Nesse cenário, uma organização tomou a decisão de usar o Power Apps para a nova experiência de interface do usuário, em vez do sistema local herdado. O Power Apps, o Power Automate e o AI Builder usam o Dataverse como o sistema de armazenamento de dados primário. Os dados atuais no sistema local existente podem ser migrados para o Dataverse usando um fluxo de dados e, em seguida, esses produtos podem usar esses dados.
Uso dos fluxos de dados para compilar um data warehouse
Você pode usar os fluxos de dados como substituto de outras ferramentas ETL (extrair, transformar, carregar), para compilar um data warehouse. Nesse cenário, os engenheiros de dados de uma empresa decidem usar os fluxos de dados para compilar o data warehouse criado pelo esquema em estrela, incluindo tabelas de fatos e de dimensões no Data Lake Storage. O Power BI é usado para gerar os relatórios e painéis obtendo os dados dos fluxos de dados.
Uso dos fluxos de dados para compilar um modelo dimensional
Você pode usar os fluxos de dados como substituto de outras ferramentas ETL, para compilar um modelo dimensional. Por exemplo, os engenheiros de dados de uma empresa decidem usar os fluxos de dados para compilar o modelo dimensional criado pelo esquema em estrela, incluindo tabelas de fatos e de dimensões no Azure Data Lake Storage Gen2. O Power BI é usado para gerar os relatórios e painéis obtendo os dados dos fluxos de dados.
Centralizar a preparação de dados e a reutilização de modelo semântico em várias soluções do Power BI
Se várias soluções do Power BI estiverem usando a mesma versão transformada de uma tabela, o processo para criar a tabela será repetido várias vezes. Isso aumenta a carga no sistema de origem, consome mais recursos e cria dados duplicados com vários pontos de falha. Em vez disso, um único fluxo de dados pode ser criado para calcular os dados de todas as soluções. O Power BI pode reutilizar o resultado da transformação em todas as soluções. O fluxo de dados, se usado dessa forma, pode fazer parte de uma arquitetura robusta de implementação do Power BI, que evita a duplicação de código do Power Query e reduz os custos de manutenção da camada de integração de dados.
Próximas etapas
Os artigos a seguir fornecem mais materiais de estudo para fluxos de dados.
Comentários
Em breve: Ao longo de 2024, eliminaremos os problemas do GitHub como o mecanismo de comentários para conteúdo e o substituiremos por um novo sistema de comentários. Para obter mais informações, consulte https://aka.ms/ContentUserFeedback.
Enviar e exibir comentários de