Compartilhar via


O que é armazenamento de dados no Microsoft Fabric?

Aplica-se a: ponto de extremidade de análise do SQL e Warehouse no Microsoft Fabric

O Microsoft Fabric fornece aos clientes um produto unificado que aborda todos os aspectos de seu patrimônio de dados oferecendo uma plataforma completa de Dados, Análises e IA com SaaS, centrada no lake e aberta. A base do Microsoft Fabric permite que tanto um usuário iniciante como um profissional experiente use as cargas de trabalho de Banco de Dados, Análise, Mensagens, Integração de Dados e Business Intelligence por meio de uma experiência saaS rica, fácil de usar e compartilhada com o Microsoft OneLake como ponto central.

Uma experiência de SaaS centrada no lago criada para qualquer nível de habilidade

O Microsoft Fabric apresenta um data warehouse centrado em lake criado em um mecanismo de processamento distribuído de nível empresarial que permite o desempenho líder do setor em escala, eliminando a necessidade de configuração e gerenciamento. Por meio de uma experiência de SaaS fácil de usar que é totalmente integrada ao Power BI para facilitar a análise e os relatórios, o Warehouse no Microsoft Fabric converge o mundo dos data lakes e warehouses com o objetivo de simplificar bastante um investimento das organizações em seu acervo de análise. As cargas de trabalho de data warehousing se beneficiam dos recursos avançados do mecanismo SQL em um formato de dados aberto, permitindo que os clientes se concentrem na preparação, análise e relatórios de dados em uma única cópia de seus dados armazenados em seu Microsoft OneLake.

O Warehouse é criado para qualquer nível de habilidade , desde o desenvolvedor cidadão até o desenvolvedor profissional, DBA ou engenheiro de dados. O conjunto avançado de experiências incorporadas ao workspace do Microsoft Fabric permite que os clientes reduzam seu tempo para insights, tendo um modelo semântico facilmente consumível e sempre conectado integrado ao Power BI no modo DirectLake. Isso permite um desempenho líder do setor inigualável que garante que o relatório de um cliente sempre tenha os dados mais recentes para análise e relatórios. A consulta entre bancos de dados pode ser usada para aproveitar de forma rápida e direta várias fontes de dados que abrangem vários bancos de dados para obter insights rápidos e zero duplicação de dados.

Depósitos virtuais com consulta entre bancos de dados

O Microsoft Fabric fornece aos clientes a capacidade de fazer stand up de depósitos virtuais que contêm dados de praticamente qualquer fonte usando atalhos. Os clientes podem criar um depósito virtual criando atalhos para seus dados onde quer que residam. Um warehouse virtual pode consistir em dados do OneLake, do Azure Data Lake Storage ou de qualquer outro armazenamento de fornecedor de nuvem dentro de um único limite e sem duplicação de dados.

Desbloqueie perfeitamente o valor de uma variedade de fontes de dados por meio da riqueza de consultas entre bancos de dados no Microsoft Fabric. A consulta entre bancos de dados permite que os clientes usem de forma rápida e direta várias fontes de dados para obter insights rápidos e sem duplicação de dados. Os dados armazenados em diferentes fontes podem ser facilmente unidos, permitindo que os clientes forneçam insights avançados que anteriormente exigiam esforços significativos das equipes de integração e engenharia de dados.

Consultas entre bancos de dados podem ser criadas por meio do editor do Visual Query, que oferece um caminho sem código para insights sobre várias tabelas. O editor de Consultas SQL ou outras ferramentas familiares, como SQL Server Management Studio (SSMS), também podem ser usados para criar consultas entre bancos de dados.

Gerenciamento de carga de trabalho autônomo

Os depósitos no Microsoft Fabric usam um mecanismo de processamento de consulta distribuída líder do setor, que fornece aos clientes cargas de trabalho que têm um limite de isolamento natural. Não há botões a serem ativados com a alocação autônoma e a desativação de recursos para oferecer o melhor desempenho de raça com escala automática e simultaneidade internas. O isolamento verdadeiro é obtido separando cargas de trabalho com diferentes características, garantindo que os trabalhos de ETL nunca interfiram com suas cargas de trabalho de análise ad hoc e relatórios.

Abrir formato para interoperabilidade perfeita do mecanismo

Os dados no Warehouse são armazenados no formato de arquivo parquet e publicados como Logs do Delta Lake, permitindo transações ACID e interoperabilidade entre mecanismos que podem ser aproveitadas por meio de outras cargas de trabalho do Microsoft Fabric, como Spark, Pipelines, Power BI e Azure Data Explorer. Os clientes não precisam mais criar várias cópias de seus dados para habilitar profissionais de dados com conjuntos de habilidades diferentes. Os engenheiros de dados acostumados a trabalhar no Python podem usar facilmente os mesmos dados que foram modelados e atendidos por um profissional de data warehouse acostumado a trabalhar no SQL. Em paralelo, os profissionais de BI podem usar com rapidez e facilidade os mesmos dados para criar um conjunto avançado de visualizações no Power BI com desempenho de registro e sem duplicação de dados.

Separação de armazenamento e computação

A computação e o armazenamento são separados em um Warehouse, o que permite aos clientes dimensionar quase instantaneamente para atender às demandas de seus negócios. Isso permite que vários mecanismos de computação leiam de qualquer fonte de armazenamento com suporte com segurança robusta e garantias transacionais ACID completas.

Ingerir, carregar e transformar facilmente em escala

Os dados podem ser ingeridos no Warehouse por meio de Pipelines, Fluxos de dados, consulta entre bancos de dados ou o comando COPY INTO. Depois de ingeridos, os dados podem ser analisados por vários grupos de negócios por meio de funcionalidades como compartilhamento e consulta entre bancos de dados. O tempo de insights é acelerado por meio de uma experiência de BI totalmente integrada por meio de modelagem de dados gráficos fácil de usar experiência web para consulta no Editor de Warehouse.

Itens de data warehousing no Microsoft Fabric

Há dois itens distintos de data warehousing: o ponto de extremidade de análise SQL do Lakehouse e o Warehouse.

Ponto de extremidade de análise SQL do Lakehouse

Um ponto de extremidade de análise SQL é um warehouse gerado automaticamente por um Lakehouse no Microsoft Fabric. Um cliente pode fazer a transição da exibição "Lake" do Lakehouse (que dá suporte à engenharia de dados e ao Apache Spark) para a exibição "SQL" do mesmo Lakehouse. O ponto de extremidade de análise SQL é somente leitura e os dados só podem ser modificados por meio da exibição "Lake" do Lakehouse usando o Spark.

Por meio do ponto de extremidade de análise SQL do Lakehouse, o usuário tem um subconjunto de comandos SQL que podem definir e consultar objetos de dados, mas não manipular os dados. Você pode executar as seguintes ações no ponto de extremidade de análise SQL:

  • Consulte as tabelas que fazem referência aos dados em suas pastas do Delta Lake no lake.
  • Crie exibições, TVFs embutidos e procedimentos para encapsular sua semântica e lógica de negócios no T-SQL.
  • Gerenciar permissões nos objetos.

Em um workspace do Microsoft Fabric, um ponto de extremidade de análise SQL é rotulado como "Ponto de extremidade de análise SQL" na coluna Tipo. Cada Lakehouse tem um ponto de extremidade de análise SQL gerado automaticamente que pode ser aproveitado por meio de ferramentas SQL conhecidas, como SQL Server Management Studio, Azure Data Studio, o SQL do Microsoft Fabric Editor de Consultas.

Captura de tela mostrando o tipo de ponto de extremidade de análise SQL no espaço de trabalho.

Para começar a usar o ponto de extremidade de análise SQL, confira Melhor juntos: o lakehouse e o warehouse no Microsoft Fabric.

Para obter informações e recomendações sobre o desempenho do ponto de extremidade de análise SQL, confira Considerações sobre o desempenho do ponto de extremidade de análise SQL.

Data Warehouse do Synapse

Em um workspace do Microsoft Fabric, um Data Warehouse ou Warehouse do Synapse é rotulado como 'Warehouse' na coluna Tipo. O A Warehouse dá suporte a transações, DDL e consultas DML.

Captura de tela mostrando o tipo de Warehouse no espaço de trabalho.

Ao contrário de um ponto de extremidade de análise SQL que dá suporte apenas a consultas somente leitura e criação de exibições e TVFs, um Warehouse tem suporte completo de DDL e DML transacional e é criado por um cliente. Um Warehouse é preenchido por um dos métodos de ingestão de dados com suporte, como COPY INTO, Pipelines, Fluxos de dados ou opções de ingestão entre bancos de dados, como CREATE TABLE AS SELECT (CTAS),INSERT..SELECT ou SELECT INTO.

Para começar a usar o Warehouse, consulte Criar um warehouse no Microsoft Fabric.

Para obter informações e recomendações sobre o desempenho do depósito, consulte Diretrizes de desempenho do Warehouse.

Comparar o Warehouse e o ponto de extremidade de análise SQL do Lakehouse

Esta seção descreve as diferenças entre o Warehouse e o ponto de extremidade de análise SQL no Microsoft Fabric.

Diagrama do espaço de trabalho do Fabric para data warehousing, incluindo o ponto de extremidade de análise SQL e o Warehouse.

O ponto de extremidade de análise SQL é um warehouse somente leitura gerado automaticamente após a criação de um Lakehouse no Microsoft Fabric. As tabelas Delta criadas por meio do Spark em um Lakehouse são detectáveis automaticamente no ponto de extremidade de análise SQL como tabelas. O ponto de extremidade de análise SQL permite que os engenheiros de dados criem uma camada relacional sobre dados físicos no Lakehouse e os exponham a ferramentas de análise e relatório usando a cadeia de conexão SQL. Os analistas de dados podem usar o T-SQL para acessar dados do Lakehouse usando o Synapse Data Warehouse. Use o ponto de extremidade de análise SQL para projetar seu warehouse para necessidades de BI e fornecer dados.

O Data Warehouse do Synapse ou Warehouse é um armazém de dados "tradicional" e oferece suporte a todos os recursos transacionais de T-SQL, como um armazém de dados corporativo. Ao contrário do ponto de extremidade de análise SQL, em que tabelas e dados são criados automaticamente, você está totalmente no controle de criar tabelas, carregar, transformar e consultar seus dados no data warehouse usando o portal do Microsoft Fabric ou comandos T-SQL.

Para obter mais informações sobre como consultar seus dados no Microsoft Fabric, confira Consultar o ponto de extremidade de análise SQL ou o warehouse no Microsoft Fabric.

Comparar diferentes funcionalidades de armazenamento

Para atender melhor aos seus casos de uso de análise, há uma variedade de recursos disponíveis para você. Em geral, o warehouse pode ser considerado um superconjunto de todos os outros recursos, fornecendo uma relação sinérgica entre todas as outras ofertas de análise que fornecem T-SQL.

No Microsoft Fabric, há usuários que talvez precisem decidir entre um Depósito, Lakehouse e até mesmo um datamart do Power BI.

Oferta do Microsoft Fabric

Depósito

Ponto de extremidade de análise SQL do Lakehouse

Datamart do Power BI


Licenciamento

Malha ou Power BI Premium

Malha ou Power BI Premium

Somente Power BI Premium


Principais recursos

Compatível com ACID, armazenamento de dados completo com suporte a transações no T-SQL.

Somente leitura, ponto de extremidade de análise SQL gerado pelo sistema para Lakehouse para consulta e serviço T-SQL. Dá suporte à análise nas tabelas Delta do Lakehouse e às pastas do Delta Lake referenciadas por meio de atalhos.

Data warehouse sem código e consulta T-SQL


Perfil do desenvolvedor

Desenvolvedores do SQL ou desenvolvedores cidadãos

Engenheiros de dados ou desenvolvedores de SQL

Somente desenvolvedor cidadão


Caso de uso recomendado

  • Data Warehousing para uso empresarial
  • Data Warehousing suporte ao uso departamental, de unidade de negócios ou de autoatendimento
  • Análise de dados estruturados no T-SQL com tabelas, exibições, procedimentos e funções e suporte a SQL avançado para BI
  • Explorando e consultando tabelas delta do lakehouse
  • Dados de preparo e zona de arquivamento para análise
  • Arquitetura de medalhão do Lakehouse com zonas para análise de bronze, prata e ouro
  • Emparelhamento com o Warehouse para casos de uso de análise empresarial
  • Pequenos casos de uso departamentais ou de unidade de negócios
  • Casos de uso de data warehouse de autoatendimento
  • Zona de destino para fluxos de dados do Power BI e suporte a SQL simples para BI

Experiência de desenvolvimento

  • Editor de Warehouse com suporte completo para ingestão de dados T-SQL, modelagem, desenvolvimento e consulta de experiências de interface do usuário para ingestão, modelagem e consulta de dados
  • Suporte de leitura/gravação para ferramentas de terceiros e de terceiros
  • Ponto de extremidade de análise SQL do Lakehouse com suporte limitado do T-SQL para exibições, funções com valor de tabela e consultas SQL
  • Experiências de interface do usuário para modelagem e consulta
  • Suporte limitado a T-SQL para ferramentas de terceiros e de primeiro nível
  • Editor de Datamart com experiências de interface do usuário e suporte a consultas
  • Experiências de interface do usuário para ingestão, modelagem e consulta de dados
  • Suporte somente leitura para ferramentas de terceiros e de terceiros

Funcionalidades do T-SQL

Suporte completo a DQL, DML e DDL T-SQL, suporte completo a transações

DQL completo, sem DML, suporte limitado ao T-SQL de DDL, como exibições SQL e TVFs

Somente DQL completo


Carregamento de dados

SQL, pipelines, fluxos de dados

Spark, pipelines, fluxos de dados, atalhos

Somente fluxos de dados


Suporte à tabela Delta

Lê e grava tabelas Delta

Lê tabelas delta

NA


Camada de armazenamento

Formato abrir dados – Delta

Formato abrir dados – Delta

NA


Esquema gerado automaticamente no ponto de extremidade de análise SQL do Lakehouse

O ponto de extremidade de análise SQL gerencia as tabelas geradas automaticamente para que os usuários do workspace não possam modificá-las. Os usuários podem enriquecer o modelo de banco de dados adicionando seus próprios esquemas SQL, exibições, procedimentos e outros objetos de banco de dados.

Para cada tabela Delta no Lakehouse, o ponto de extremidade de análise de SQL gera automaticamente uma tabela no dbo.

As tabelas no ponto de extremidade de análise de SQL são criadas com um atraso menor. Depois que você criar ou atualizar a tabela do Delta Lake no lake, a tabela de ponto de extremidade de análise de SQL que faz referência à tabela do Delta Lake será criada/atualizada automaticamente em 10 segundos.

A quantidade de tempo necessária para atualizar a tabela está relacionada ao nível de otimização das tabelas Delta. Para obter mais informações, revise Otimização de tabela e V-Order do Delta Lake para saber mais sobre os principais cenários e ter um guia detalhado sobre como manter eficientemente tabelas Delta para máximo desempenho.

Você pode forçar manualmente uma atualização da verificação automática de metadados no portal do Fabric. Na página do ponto de extremidade de análise de SQL, escolha o botão Atualizar na barra de ferramentas para atualizar o esquema.

Captura de tela do portal do Fabric mostrando o botão Atualizar esquema do ponto de extremidade de análise de SQL.

Para tipos de dados de esquema gerados automaticamente para o ponto de extremidade de análise SQL, confira Tipos de dados no Microsoft Fabric.