Criar e usar fluxos de dados no Microsoft Power Platform
O uso de fluxos de dados com o Microsoft Power Platform facilita a preparação de dados e permite reutilizar o trabalho de preparação de dados em relatórios, aplicativos e modelos subsequentes.
Em um mundo com dados em constante expansão, pode ser difícil e caro preparar dados. Isso pode consumir entre 60% e 80% do tempo e do custo de um projeto de análise comum. Esses projetos podem exigir a estruturação de dados fragmentados e incompletos, a integração de um sistema complexo, dados com inconsistência estrutural e uma barreira definida de habilidades de alto nível.
Para facilitar a preparação de dados e ajudar você a obter mais valor dos dados, os fluxos de dados do Power Query e do Power Platform foram criados.
Com fluxos de dados, a Microsoft leva os recursos de preparação de dados de autoatendimento do Power Query para os serviços online do Power BI e do Power Apps e expande os recursos existentes das seguintes maneiras:
Preparação de dados de autoatendimento para Big Data com fluxos de dados: os fluxos de dados podem ser usados para ingerir, limpar, transformar, integrar, enriquecer e esquematizar dados de uma grande e crescente matriz de fontes transacionais e observacionais, abrangendo toda a lógica de preparação de dados. Anteriormente, a lógica de ETL (extração, transformação, carregamento) só podia ser incluída em modelos semânticos no Power BI, copiada entre modelos semânticos e associada a configurações de gerenciamento de modelo semântico.
Com os fluxos de dados, a lógica de ETL é elevada a um artefato de primeira classe nos serviços do Microsoft Power Platform e inclui experiências de criação e gerenciamento dedicadas. Analistas de negócios, profissionais de BI e cientistas de dados podem usar fluxos de dados para lidar com os desafios mais complexos de preparação de dados e contar com o trabalho de cada um graças a um mecanismo revolucionário de cálculo baseado em modelo. Esse mecanismo cuida de toda a lógica de transformação e dependência, reduzindo tempo, custo e experiência a uma fração do que tradicionalmente era necessário para essas tarefas. Você pode criar fluxos de dados usando a conhecida experiência de preparação de dados de autoatendimento do Power Query. Os fluxos de dados são criados e facilmente gerenciados em ambientes ou workspaces de aplicativos, no Power BI ou no Power Apps, respectivamente, desfrutando de todos os recursos que esses serviços têm a oferecer, como gerenciamento de permissões e atualizações agendadas.
Carregar dados no Dataverse ou no Azure Data Lake Storage: dependendo do seu caso de uso, você pode armazenar dados preparados pelos fluxos de dados do Power Platform no Dataverse ou na conta do Azure Data Lake Storage da sua organização:
O Dataverse permite que você armazene e gerencie com segurança os dados que são usados pelos aplicativos de negócios. Os dados no Dataverse são armazenados em um conjunto de tabelas. Uma tabela é um conjunto de linhas (antes conhecido como registros) e colunas (antes conhecido como campos/atributos). Cada coluna da tabela se destina a armazenar um certo tipo de dados; por exemplo, nome, idade, salário e assim por diante. O Dataverse inclui um conjunto básico de tabelas padrão que abrange cenários típicos, mas você também pode criar tabelas personalizadas específicas para a sua organização e preenchê-las com os dados usando fluxos de dados. Então, os criadores de aplicativos podem usar Power Apps e o Power Automate para criar aplicativos sofisticados que usam esses dados.
O Azure Data Lake Storage permite que você colabore com as pessoas da organização usando o Power BI, o Azure Data e os serviços de IA ou os aplicativos de linha de negócios personalizados que leem dados do lake. Fluxos de dados que carregam dados em uma conta do Azure Data Lake Storage armazenam dados em pastas do Common Data Model. As pastas do Common Data Model contêm dados e metadados esquematizados em um formato padronizado, para facilitar a troca de dados e permitir a interoperabilidade total entre serviços que produzem ou consomem dados armazenados na conta do Azure Data Lake Storage de uma organização como a camada de armazenamento compartilhado.
Análise avançada e IA com o Azure: os fluxos de dados do Power Platform armazenam dados no Dataverse ou no Azure Data Lake Storage. Isso significa que os dados ingeridos por meio de fluxos de dados agora estão disponíveis para engenheiros de dados e cientistas de dados para aplicar todo o potencial dos Serviços de Dados do Azure, como o Azure Machine Learning, o Azure Databricks e o Azure Synapse Analytics, a análises avançadas e IA. Isso permite que analistas de negócios, engenheiros de dados e cientistas de dados colaborem nos mesmos dados em suas organizações.
Suporte ao Common Data Model: o Common Data Model é um conjunto de esquemas de dados padronizados e um sistema de metadados para permitir a consistência dos dados e seu significado entre aplicativos e processos empresariais. Os fluxos de dados dão suporte ao Common Data Model, oferecendo mapeamento fácil de dados em qualquer forma para as tabelas padrão do Common Data Model, como Conta e Contato. Os fluxos de dados também fornecem dados, tabelas padrão e personalizadas, no formulário Common Data Model esquematizado. Os analistas de negócios podem aproveitar o esquema padrão e a consistência semântica, ou personalizar tabelas com base em necessidades únicas deles. O Common Data Model continua evoluindo como parte da Open Data Initiative.
Recursos de fluxo de dados nos serviços do Microsoft Power Platform
A maioria dos recursos de fluxo de dados está disponível no Power Apps e no Power BI. Os fluxos de dados estão disponíveis como parte dos planos desses serviços. Alguns recursos de fluxo de dados são específicos do produto ou estão disponíveis em diferentes planos de produto. A tabela a seguir descreve os recursos de fluxo de dados e sua disponibilidade.
| Capacidade de fluxo de dados | Power Apps | Power BI |
|---|---|---|
| Atualização agendada | Até 48 por dia | Até 48 por dia |
| Tempo máximo de atualização por tabela | Até 2 horas | Até 2 horas |
| Criação de fluxo de dados com o Power Query Online | Sim | Yes |
| Gerenciamento de fluxo de dados | No portal de administração do Power Apps | No portal de administração do Power BI |
| Novos conectores | Sim | Yes |
| Esquema padronizado/suporte interno para o Common Data Service | Sim | Yes |
| Conector de dados de fluxos de dados no Power BI Desktop | Para fluxos de dados com o Azure Data Lake Storage como destino | Sim |
| Integração com o Azure Data Lake Storage da organização | Sim | Yes |
| Integração com o Dataverse | Sim | Não |
| Tabelas vinculadas de fluxo de dados | Para fluxos de dados com o Azure Data Lake Storage como destino | Sim |
| Tabelas computadas (transformações no armazenamento usando M) | Para fluxos de dados com o Azure Data Lake Storage como destino | Somente Power BI Premium |
| Atualização incremental de fluxos de dados | Para fluxos de dados com o Azure Data Lake Storage como destino; requer o Power Apps Plan2 | Somente Power BI Premium |
| Execução na capacidade do Power BI Premium/Execução paralela de transformações | Não | Sim |
Limitações conhecidas
- Não há suporte à cópia de fluxos de dados como parte de uma operação de cópia de ambientes do Power Platform.
Próximas etapas
Mais informações sobre fluxos de dados no Power Apps:
- Preparação de dados de autoatendimento no Power Apps
- Criando e usando fluxos de dados no Power Apps
- Conectar o Azure Data Lake Storage Gen2 para armazenamento de fluxo de dados
- Adicionar dados a uma tabela no Dataverse usando o Power Query
- Acesse a comunidade de fluxo de dados do Power Apps e compartilhe o que você está fazendo, faça perguntas ou envie novas ideias
- Acesse a o fórum da comunidade de fluxo de dados do Power Apps e compartilhe o que você está fazendo, faça perguntas ou envie novas ideias
Mais informações sobre fluxos de dados no Power Apps:
- Preparação de dados de autoatendimento no Power BI
- Criar e usar fluxos de dados no Power BI
- White paper de fluxos de dados
- Vídeo detalhado de instruções de um fluxos de dados
- Acesse a comunidade de fluxos de dados do Power BI e compartilhe o que você está fazendo, faça perguntas ou envie novas ideias
Os seguintes artigos oferecem mais detalhes sobre cenários de uso comuns para fluxos de dados:
- Usar a atualização incremental com fluxos de dados
- Criar tabelas computadas em fluxos de dados
- Conectar-se a fontes de dados para fluxos de dados
- Vincular tabelas entre fluxos de dados
Para obter mais informações sobre o Common Data Model e o padrão da pasta do Common Data Model, leia os seguintes artigos: