O que é armazenamento de dados no Microsoft Fabric?
Aplica-se a:
Ponto de extremidade de análise do SQL e Warehouse no Microsoft Fabric
O Microsoft Fabric fornece aos clientes um produto unificado que aborda todos os aspectos de seu patrimônio de dados oferecendo uma plataforma completa de Dados, Análises e IA com SaaS, centrada no lake e aberta. A base do Microsoft Fabric permite que o usuário iniciante até o profissional experiente aproveite as cargas de trabalho de Banco de Dados, Análise, Mensagens, Integração de Dados e Business Intelligence por meio de uma experiência saaS rica, fácil de usar e compartilhada com o Microsoft OneLake como peça central.
Uma experiência de SaaS centrada no lago criada para qualquer nível de habilidade
O Microsoft Fabric apresenta um data warehouse centrado em lake criado em um mecanismo de processamento distribuído de nível empresarial que permite o desempenho líder do setor em escala, eliminando a necessidade de configuração e gerenciamento. Por meio de uma experiência de SaaS fácil de usar que é totalmente integrada ao Power BI para facilitar a análise e os relatórios, o Warehouse no Microsoft Fabric converge o mundo dos data lakes e warehouses com o objetivo de simplificar bastante um investimento das organizações em seu acervo de análise. As cargas de trabalho de data warehousing se beneficiam dos recursos avançados do mecanismo SQL em um formato de dados aberto, permitindo que os clientes se concentrem na preparação, análise e relatórios de dados em uma única cópia de seus dados armazenados em seu Microsoft OneLake.
O Warehouse é criado para qualquer nível de habilidade , desde o desenvolvedor cidadão até o desenvolvedor profissional, DBA ou engenheiro de dados. O conjunto avançado de experiências incorporadas ao workspace do Microsoft Fabric permite que os clientes reduzam seu tempo para insights, tendo um modelo semântico facilmente consumível e sempre conectado integrado ao Power BI no modo DirectLake. Isso permite um desempenho líder do setor inigualável que garante que o relatório de um cliente sempre tenha os dados mais recentes para análise e relatórios. A consulta entre bancos de dados pode ser usada para aproveitar de forma rápida e direta várias fontes de dados que abrangem vários bancos de dados para obter insights rápidos e zero duplicação de dados.
Depósitos virtuais com consulta entre bancos de dados
O Microsoft Fabric fornece aos clientes a capacidade de fazer stand up de depósitos virtuais que contêm dados de praticamente qualquer fonte usando atalhos. Os clientes podem criar um depósito virtual criando atalhos para seus dados onde quer que residam. Um warehouse virtual pode consistir em dados do OneLake, do Azure Data Lake Storage ou de qualquer outro armazenamento de fornecedor de nuvem dentro de um único limite e sem duplicação de dados.
Desbloqueie perfeitamente o valor de uma variedade de fontes de dados por meio da riqueza de consultas entre bancos de dados no Microsoft Fabric. A consulta entre bancos de dados permite que os clientes usem de forma rápida e direta várias fontes de dados para obter insights rápidos e sem duplicação de dados. Os dados armazenados em diferentes fontes podem ser facilmente unidos, permitindo que os clientes forneçam insights avançados que anteriormente exigiam esforços significativos das equipes de integração e engenharia de dados.
Consultas entre bancos de dados podem ser criadas por meio do editor do Visual Query, que oferece um caminho sem código para insights sobre várias tabelas. O editor de Consultas SQL ou outras ferramentas familiares, como SQL Server Management Studio (SSMS), também podem ser usados para criar consultas entre bancos de dados.
Gerenciamento de carga de trabalho autônomo
Os depósitos no Microsoft Fabric aproveitam um mecanismo de processamento de consulta distribuída líder do setor, que fornece aos clientes cargas de trabalho que têm um limite de isolamento natural. Não há botões a serem ativados com a alocação autônoma e a desativação de recursos para oferecer o melhor desempenho de raça com escala automática e simultaneidade internas. O isolamento verdadeiro é obtido separando cargas de trabalho com diferentes características, garantindo que os trabalhos de ETL nunca interfiram com suas cargas de trabalho de análise ad hoc e relatórios.
Abrir formato para interoperabilidade perfeita do mecanismo
Os dados no Warehouse são armazenados no formato de arquivo parquet e publicados como Logs do Delta Lake, permitindo transações ACID e interoperabilidade entre mecanismos que podem ser aproveitadas por meio de outras cargas de trabalho do Microsoft Fabric, como Spark, Pipelines, Power BI e Azure Data Explorer. Os clientes não precisam mais criar várias cópias de seus dados para habilitar profissionais de dados com conjuntos de habilidades diferentes. Os engenheiros de dados acostumados a trabalhar no Python podem usar facilmente os mesmos dados que foram modelados e atendidos por um profissional de data warehouse acostumado a trabalhar no SQL. Em paralelo, os profissionais de BI podem usar com rapidez e facilidade os mesmos dados para criar um conjunto avançado de visualizações no Power BI com desempenho de registro e sem duplicação de dados.
Separação de armazenamento e computação
A computação e o armazenamento são separados em um Warehouse, o que permite aos clientes dimensionar quase instantaneamente para atender às demandas de seus negócios. Isso permite que vários mecanismos de computação leiam de qualquer fonte de armazenamento com suporte com segurança robusta e garantias transacionais ACID completas.
Ingerir, carregar e transformar facilmente em escala
Os dados podem ser ingeridos no Warehouse por meio de Pipelines, Fluxos de dados, consulta entre bancos de dados ou o comando COPY INTO. Depois de ingeridos, os dados podem ser analisados por vários grupos de negócios por meio de funcionalidades como compartilhamento e consulta entre bancos de dados. O tempo de insights é acelerado por meio de uma experiência de BI totalmente integrada por meio de modelagem de dados gráficos fácil de usar experiência web para consulta no Editor de Warehouse.
Itens de data warehousing no Microsoft Fabric
Há dois itens distintos de data warehousing: o ponto de extremidade de análise SQL do Lakehouse e o Warehouse.
Ponto de extremidade de análise SQL do Lakehouse
Um ponto de extremidade de análise SQL é um warehouse gerado automaticamente por um Lakehouse no Microsoft Fabric. Um cliente pode fazer a transição da exibição "Lake" do Lakehouse (que dá suporte à engenharia de dados e ao Apache Spark) para a exibição "SQL" do mesmo Lakehouse. O ponto de extremidade de análise SQL é somente leitura e os dados só podem ser modificados por meio da exibição "Lake" do Lakehouse usando o Spark.
Por meio do ponto de extremidade de análise SQL do Lakehouse, o usuário tem um subconjunto de comandos SQL que podem definir e consultar objetos de dados, mas não manipular os dados. Você pode executar as seguintes ações no ponto de extremidade de análise SQL:
- Consulte as tabelas que fazem referência aos dados em suas pastas do Delta Lake no lake.
- Crie exibições, TVFs embutidos e procedimentos para encapsular sua semântica e lógica de negócios no T-SQL.
- Gerenciar permissões nos objetos.
Em um workspace do Microsoft Fabric, um ponto de extremidade de análise SQL é rotulado como "Ponto de extremidade de análise SQL" na coluna Tipo. Cada Lakehouse tem um ponto de extremidade de análise SQL gerado automaticamente que pode ser aproveitado por meio de ferramentas SQL conhecidas, como SQL Server Management Studio, Azure Data Studio, o SQL do Microsoft Fabric Editor de Consultas.
Para começar a usar o ponto de extremidade de análise SQL, confira Melhor juntos: o lakehouse e o warehouse no Microsoft Fabric.
Data Warehouse do Synapse
Em um workspace do Microsoft Fabric, um Data Warehouse ou Warehouse do Synapse é rotulado como 'Warehouse' na coluna Tipo. O A Warehouse dá suporte a transações, DDL e consultas DML.
Ao contrário de um ponto de extremidade de análise SQL que dá suporte apenas a consultas somente leitura e criação de exibições e TVFs, um Warehouse tem suporte completo de DDL e DML transacional e é criado por um cliente. Um Warehouse é preenchido por um dos métodos de ingestão de dados com suporte, como COPY INTO, Pipelines, Fluxos de dados ou opções de ingestão entre bancos de dados, como CREATE TABLE AS SELECT (CTAS),INSERT..SELECT ou SELECT INTO.
Para começar a usar o Warehouse, consulte Criar um warehouse no Microsoft Fabric.
Comparar o Warehouse e o ponto de extremidade de análise SQL do Lakehouse
Esta seção descreve as diferenças entre o Warehouse e o ponto de extremidade de análise SQL no Microsoft Fabric.
O ponto de extremidade de análise SQL é um warehouse somente leitura gerado automaticamente após a criação de um Lakehouse no Microsoft Fabric. As tabelas Delta criadas por meio do Spark em um Lakehouse são detectáveis automaticamente no ponto de extremidade de análise SQL como tabelas. O ponto de extremidade de análise SQL permite que os engenheiros de dados criem uma camada relacional sobre dados físicos no Lakehouse e os exponham a ferramentas de análise e relatório usando a cadeia de conexão SQL. Os analistas de dados podem usar o T-SQL para acessar dados do Lakehouse usando o Synapse Data Warehouse. Use o ponto de extremidade de análise SQL para projetar seu warehouse para necessidades de BI e fornecer dados.
O Data Warehouse do Synapse ou Warehouse é um armazém de dados "tradicional" e oferece suporte a todos os recursos transacionais de T-SQL, como um armazém de dados corporativo. Ao contrário do ponto de extremidade de análise SQL, em que tabelas e dados são criados automaticamente, você está totalmente no controle de criar tabelas, carregar, transformar e consultar seus dados no data warehouse usando o portal do Microsoft Fabric ou comandos T-SQL.
Para obter mais informações sobre como consultar seus dados no Microsoft Fabric, confira Consultar o ponto de extremidade de análise SQL ou o warehouse no Microsoft Fabric.
Comparar diferentes funcionalidades de armazenamento
Para atender melhor aos seus casos de uso de análise, há uma variedade de recursos disponíveis para você. Em geral, o warehouse pode ser considerado um superconjunto de todos os outros recursos, fornecendo uma relação sinérgica entre todas as outras ofertas de análise que fornecem T-SQL.
No fabric, há usuários que talvez precisem decidir entre um Warehouse, o Lakehouse e até mesmo um datamart do Power BI.
Oferta do Microsoft Fabric
Depósito
Ponto de extremidade de análise SQL do Lakehouse
Datamart do Power BI
Licenciamento
Malha ou Power BI Premium
Malha ou Power BI Premium
Somente Power BI Premium
Principais recursos
Compatível com ACID, armazenamento de dados completo com suporte a transações no T-SQL.
Somente leitura, ponto de extremidade de análise SQL gerado pelo sistema para Lakehouse para consulta e serviço T-SQL. Dá suporte à análise nas tabelas Delta do Lakehouse e às pastas do Delta Lake referenciadas por meio de atalhos.
Data warehouse sem código e consulta T-SQL
Perfil do desenvolvedor
Desenvolvedores do SQL ou desenvolvedores cidadãos
Engenheiros de dados ou desenvolvedores de SQL
Somente desenvolvedor cidadão
Caso de uso recomendado
- Data Warehousing para uso empresarial
- Data Warehousing suporte ao uso departamental, de unidade de negócios ou de autoatendimento
- Análise de dados estruturados no T-SQL com tabelas, exibições, procedimentos e funções e suporte a SQL avançado para BI
- Explorando e consultando tabelas delta do lakehouse
- Dados de preparo e zona de arquivamento para análise
- Arquitetura de medalhão do Lakehouse com zonas para análise de bronze, prata e ouro
- Emparelhamento com o Warehouse para casos de uso de análise empresarial
- Pequenos casos de uso departamentais ou de unidade de negócios
- Casos de uso de data warehouse de autoatendimento
- Zona de destino para fluxos de dados do Power BI e suporte a SQL simples para BI
Experiência de desenvolvimento
- Editor de Warehouse com suporte completo para ingestão de dados T-SQL, modelagem, desenvolvimento e consulta de experiências de interface do usuário para ingestão, modelagem e consulta de dados
- Suporte de leitura/gravação para ferramentas de terceiros e de terceiros
- Ponto de extremidade de análise SQL do Lakehouse com suporte limitado do T-SQL para exibições, funções com valor de tabela e consultas SQL
- Experiências de interface do usuário para modelagem e consulta
- Suporte limitado a T-SQL para ferramentas de terceiros e de primeiro nível
- Editor de Datamart com experiências de interface do usuário e suporte a consultas
- Experiências de interface do usuário para ingestão, modelagem e consulta de dados
- Suporte somente leitura para ferramentas de terceiros e de terceiros
Funcionalidades do T-SQL
Suporte completo a DQL, DML e DDL T-SQL, suporte completo a transações
DQL completo, sem DML, suporte limitado ao T-SQL de DDL, como exibições SQL e TVFs
Somente DQL completo
Carregamento de dados
SQL, pipelines, fluxos de dados
Spark, pipelines, fluxos de dados, atalhos
Somente fluxos de dados
Suporte à tabela Delta
Lê e grava tabelas Delta
Lê tabelas delta
NA
Camada de armazenamento
Formato abrir dados – Delta
Formato abrir dados – Delta
NA
Esquema gerado automaticamente no ponto de extremidade de análise SQL do Lakehouse
O ponto de extremidade de análise SQL gerencia as tabelas geradas automaticamente para que os usuários do workspace não possam modificá-las. Os usuários podem enriquecer o modelo de banco de dados adicionando seus próprios esquemas SQL, exibições, procedimentos e outros objetos de banco de dados.
Para cada tabela Delta em seu Lakehouse, o ponto de extremidade de análise SQL gera automaticamente uma tabela.
As tabelas no ponto de extremidade de análise SQL são criadas com um atraso. Depois de criar ou atualizar a pasta/tabela do Delta Lake no lake, a tabela de warehouse que faz referência aos dados do Lake não será criada/atualizada imediatamente. As alterações serão aplicadas no warehouse após 5 a 10 segundos.
Para tipos de dados de esquema gerados automaticamente para o ponto de extremidade de análise SQL, confira Tipos de dados no Microsoft Fabric.
Conteúdo relacionado
Comentários
Em breve: Ao longo de 2024, eliminaremos os problemas do GitHub como o mecanismo de comentários para conteúdo e o substituiremos por um novo sistema de comentários. Para obter mais informações, consulte https://aka.ms/ContentUserFeedback.
Enviar e exibir comentários de