Introdução aos datamarts

Os usuários de negócios dependem muito das fontes de dados gerenciadas centralmente, criadas por equipes de TI (tecnologia da informação), mas pode levar meses para que um departamento de TI conclua uma alteração em uma determinada fonte de dados. Como resposta, os usuários geralmente recorrem à criação de seus próprios datamarts com bancos de dados do Access, arquivos locais, sites e planilhas do SharePoint, resultando na falta de governança e supervisão adequada para garantir que essas fontes de dados sejam compatíveis e tenham um desempenho razoável.

Os datamarts ajudam a preencher a lacuna entre os usuários de negócios e a TI. Os datamarts são soluções de análise de autoatendimento que permitem aos usuários armazenar e explorar os dados carregados em um banco de dados totalmente gerenciado. Os datamarts fornecem uma experiência simples – e, opcionalmente, sem código – para ingerir dados de diferentes fontes de dados, efetuar ETL (extração, transformação e carregamento) dos dados usando Power Query e, em seguida, carregá-los em um banco de dados SQL do Azure totalmente gerenciado e que não exija ajuste ou otimização.

Depois que os dados são carregados em um datamart, você também pode definir relações e políticas para business intelligence e análise. Os datamarts geram automaticamente um modelo semântico, que pode ser usado para criar relatórios e dashboards do Power BI. Você também pode consultar um datamart usando um ponto de extremidade T-SQL ou uma experiência visual.

Diagrama que mostra a relação entre os datamarts e o Power BI.

Os datamarts oferecem os seguintes benefícios:

  • Os usuários de autoatendimento podem executar com facilidade a análise de banco de dados relacional, sem precisar contar com um administrador de banco de dados
  • Os datamarts oferecem ingestão de dados de ponta a ponta, preparação e exploração com SQL, incluindo experiências sem código
  • Habilitar a criação de modelos semânticos e relatórios dentro de uma experiência holística

Recursos do datamart:

  • 100% baseado na Web, não requer nenhum outro software
  • Uma experiência sem código que resulta em um datamart totalmente gerenciado
  • Ajuste de desempenho automatizado
  • Visual interno e editor de consultas SQL para análise ad hoc
  • Suporte para SQL e outras ferramentas de cliente populares
  • Integração nativa ao Power BI, Microsoft Office e outras ofertas de análise da Microsoft
  • Incluso com capacidades do Power BI Premium e Premium por usuário

Quando usar datamarts

Os datamarts são direcionados a cargas de trabalho de dados interativos para cenários de autoatendimento. Por exemplo, se você trabalha com finanças ou contabilidade, poderá criar seus próprios modelos de dados e coleções, que podem ser usados para autoatendimento de perguntas e respostas de negócios por meio de experiências de consulta visual e T-SQL. Além disso, você ainda pode usar essas coletas de dados para experiências de relatórios do Power BI mais tradicionais. Os datamarts são recomendados para clientes que precisam de propriedade e arquitetura de dados descentralizadas e orientadas ao domínio, como usuários que precisam de dados como um produto ou de uma plataforma de dados de autoatendimento.

Os datamarts foram projetados para dar suporte aos seguintes cenários:

  • Dados departamentais de autoatendimento: centralize volumes de dados pequenos a moderados (até aproximadamente 100 GB) em um banco de dados SQL totalmente gerenciado de autoatendimento. Os datamarts permitem que você designe apenas um repositório para as necessidades de relatórios departamentais downstream de autoatendimento (como Excel, relatórios do Power BI, dentre outros), reduzindo assim a infraestrutura nas soluções de autoatendimento.

  • Análise de banco de dados relacional com o Power BI: acesse os dados de um datamart usando clientes SQL externos. O Azure Synapse e outros serviços/ferramentas que usam T-SQL também podem usar datamarts no Power BI.

  • Modelos semânticos de ponta a ponta: permita que os criadores do Power BI criem soluções de ponta a ponta sem depender de outras ferramentas ou outras equipes de TI. Os datamarts se livram do gerenciamento de orquestração entre fluxos de dados e modelos semânticos por meio de modelos semânticos gerados automaticamente, ao mesmo tempo em que fornecem experiências visuais para consultar dados e realizar análises ad hoc, tudo apoiado pelo BD SQL do Azure.

A tabela a seguir descreve essas ofertas e os melhores usos para cada uma delas, incluindo as respectivas funções com os datamarts.

Item Caso de uso recomendado Complementando a função com os datamarts
Datamarts Armazenamento de dados baseado no usuário e acesso SQL aos seus dados Os datamarts podem ser usados como fontes para outros datamarts ou itens, por meio do ponto de extremidade SQL:
  • Compartilhamento externo
  • Compartilhamento entre os limites departamentais ou organizacionais com segurança habilitada
Fluxos de dados ETL (preparação de dados reutilizáveis) para modelos semânticos ou marts Os datamarts usam apenas um fluxo de dados interno para ETL. Os fluxos de dados podem acentuar isso, habilitando o seguinte:
  • Carga de dados em datamarts com diferentes agendamentos de atualização
  • Separação das etapas de preparação de dados e ETL do armazenamento, para que possam ser reutilizados pelos modelos semânticos
Modelos semânticos Métricas e camada semântica para relatórios de BI Os datamarts fornecem um modelo semântico gerado automaticamente para relatórios, habilitando:
  • Combinar dados de várias fontes
  • Compartilhamento seletivo das tabelas do datamart para relatórios refinados
  • Modelos compostos: modelo semântico com os dados do datamart e de outras fontes de dados externas
  • Modelos de proxy: um modelo semântico que usa DirectQuery para o modelo gerado automaticamente, com apenas uma fonte de verdade

Integração de datamarts e fluxos de dados

Em alguns casos, pode ser útil incorporar fluxos de dados e datamarts na mesma solução. Nas seguintes situações pode ser vantajoso incorporar fluxos de dados e datamarts:

  • Soluções com fluxos de dados existentes:

    • Consuma os dados com facilidade usando datamarts a fim de aplicar eventuais transformações adicionais ou habilitar análises ad hoc e consultas SQL
    • Integre com facilidade uma solução de armazenamento de dados sem código sem gerenciar os modelos semânticos
  • Para soluções com datamarts existentes:

    • Executar ações de ETL (extração, transformação e carregamento) reutilizáveis em escala para grandes volumes de dados
    • Traga seu próprio data lake e use fluxos de dados como um pipeline para datamarts

Diagrama que mostra datamarts e fluxos de dados.

Comparando fluxos de dados com datamarts

Esta seção descreve as diferenças entre fluxos de dados e datamarts.

Os fluxos de dados fornecem ações de ETL (extração, transformação e carregamento) reutilizáveis. As tabelas não podem ser navegadas, consultadas ou exploradas sem um modelo semântico, mas podem ser definidas para reutilização. Os dados serão expostos no formato Power BI ou CDM se você trouxer um data lake próprio. Os fluxos de dados são usados pelo Power BI para ingerir dados em seus datamarts. Você deve usar fluxos de dados sempre que quiser reutilizar sua lógica de ETL.

Use fluxos de dados quando precisar:

  • Criar uma preparação de dados reutilizável e compartilhável para itens do Power BI.

Os datamarts são um banco de dados totalmente gerenciado que permite armazenar e explorar seus dados em um BD SQL do Azure relacional e totalmente gerenciado. Os datamarts fornecem suporte a SQL, um designer de consulta visual sem código, RLS (Segurança em Nível de Linha) e geração automática de um modelo semântico para cada datamart. Você pode executar análises ad hoc e criar relatórios, tudo pela Web.

Use datamarts quando precisar:

  • Classificar, filtrar ou realizar agregação simples visualmente ou por meio de expressões definidas em SQL
  • Gerar saídas que sejam resultados, conjuntos, tabelas ou tabelas filtradas de dados
  • Fornecer dados acessíveis por meio de um ponto de extremidade SQL
  • Habilitar usuários que não têm acesso ao Power BI Desktop

Este artigo forneceu uma visão geral sobre datamarts e as diversas maneiras de usá-los.

Os seguintes artigos fornecem mais informações sobre datamarts e o Power BI:

Para saber mais sobre fluxos de dados e transformações de dados, confira os seguintes artigos: