Qual é a estrutura de armazenamento para fluxos de dados analíticos?

Os fluxos de dados analíticos armazenam dados e metadados em Azure Data Lake Storage. Os fluxos de dados aproveitam uma estrutura padrão para armazenar e descrever os dados criados no lago, que é chamado de pastas de Modelo de Dados Comuns. Neste artigo, você aprenderá mais sobre o padrão de armazenamento que os fluxos de dados usam nos bastidores.

O armazenamento precisa de uma estrutura para um fluxo de dados analítico

Se o fluxo de dados for padrão, os dados serão armazenados no Dataverse. O Dataverse é como um sistema de banco de dados; tem o conceito de tabelas, exibições e assim por diante. O Dataverse é uma opção de armazenamento de dados estruturado usada por fluxos de dados padrão.

No entanto, quando o fluxo de dados é analítico, os dados são armazenados em Azure Data Lake Storage. Os dados e metadados de um fluxo de dados são armazenados em uma pasta do Common Data Model. Como uma conta de armazenamento pode ter vários fluxos de dados armazenados nela, uma hierarquia de pastas e subpastas foi introduzida para ajudar a organizar os dados. Dependendo do produto em que o fluxo de dados foi criado, as pastas e subpastas podem representar espaços de trabalho (ou ambientes) e, em seguida, a pasta Modelo de Dados Comum do fluxo de dados. Dentro da pasta Common Data Model, o esquema e os dados das tabelas de fluxo de dados são armazenados. Essa estrutura segue os padrões definidos para o Common Data Model.

O que é a estrutura de armazenamento do Common Data Model?

O Common Data Model é uma estrutura de metadados definida para trazer conformidade e consistência para o uso de dados em várias plataformas. O Common Data Model não é o armazenamento de dados, é a maneira como os dados são armazenados e definidos.

As pastas Common Data Model definem como o esquema de uma tabela e seus dados devem ser armazenados. Em Azure Data Lake Storage, os dados são organizados em pastas. As pastas podem representar um espaço de trabalho ou ambiente. Nessas pastas, subpastas para cada fluxo de dados são criadas.

O que há em uma pasta de fluxo de dados?

Cada pasta de fluxo de dados contém uma subpasta para cada tabela e um arquivo de metadados nomeado model.json.

O arquivo de metadados: model.json

O arquivo model.json é a definição de metadados do fluxo de dados. Esse é o único arquivo que contém todos os metadados de fluxo de dados. Isso inclui uma lista de tabelas, as colunas e seus tipos de dados em cada tabela, a relação entre tabelas e assim por diante. Você pode exportar esse arquivo de um fluxo de dados facilmente, mesmo que não tenha acesso à estrutura de pastas do Common Data Model.

Você pode usar esse arquivo JSON para migrar (ou importar) seu fluxo de dados para outro espaço de trabalho ou ambiente.

Para saber exatamente o que o arquivo de metadados model.json inclui, acesse o arquivo de metadados (model.json) do Common Data Model.

Arquivos de dados

Além do arquivo de metadados, a pasta de fluxo de dados inclui outras subpastas. Um fluxo de dados armazena os dados de cada tabela em uma subpasta com o nome da tabela. Os dados de uma tabela podem ser divididos em várias partições de dados, armazenadas no formato CSV.

Como ver ou acessar pastas do Common Data Model

Se você estiver usando fluxos de dados que usam o armazenamento fornecido pelo produto em que foram criados, você não terá acesso a essas pastas diretamente. Nesses casos, obter dados dos fluxos de dados requer o uso do conector de fluxo de dados do Microsoft Power Platform disponível na experiência Obter dados nos produtos serviço do Power BI, Power Apps e Dynamics 35 Customer Insights ou no Power BI Desktop.

Para saber como funcionam os fluxos de dados e a integração Data Lake Storage interna, acesse Fluxos de dados e a integração do Azure Data Lake (versão prévia).

Se sua organização habilitou fluxos de dados para aproveitar sua conta de Data Lake Storage e foi selecionada como um destino de carga para fluxos de dados, você ainda poderá obter dados do fluxo de dados usando o conector de fluxo de dados do Power Platform, conforme mencionado acima. Mas você também pode acessar a pasta Common Data Model do fluxo de dados diretamente por meio do lago, mesmo fora das ferramentas e serviços do Power Platform. O acesso ao lago é possível por meio do portal do Azure, Gerenciador de Armazenamento do Microsoft Azure ou qualquer outro serviço ou experiência que dê suporte a Azure Data Lake Storage. Mais informações: Conectar o Azure Data Lake Storage Gen2 para armazenamento de fluxo de dados

Próximas etapas

• Usar o Common Data Model para otimizar o Azure Data Lake Storage Gen2

• O arquivo de metadados (model.json) para o Common Data Model

• Adicionar uma pasta CDM ao Power BI como um fluxo de dados (Versão preliminar)

• Conectar o Azure Data Lake Storage Gen2 para armazenamento de fluxo de dados

• Integração entre fluxos de dados e o Azure Data Lake (versão prévia)

• Definir configurações de fluxo de dados de workspace (visualização)