Compartilhar via

Interoperabilidade de formato de tabela do Delta Lake

  • Artigo

No Microsoft Fabric, o formato de tabela Delta Lake é o padrão para análise. O Delta Lake é uma camada de armazenamento open-source que traz transações ACID (atomicidade, consistência, isolamento e durabilidade) para cargas de trabalho de Big Data e de análise.

Todas as experiências no Fabric geram e consomem tabelas Delta Lake, promovendo a interoperabilidade e uma experiência de produto unificada. As tabelas Delta Lake produzidas por um mecanismo de computação, como o Synapse Data Warehouse ou o Synapse Spark, podem ser consumidas por qualquer outro mecanismo, como o Power BI. Quando você ingere dados no Fabric, o Fabric os armazena como tabelas Delta por padrão. Você pode integrar facilmente dados externos que contenham tabelas Delta Lake usando os atalhos do OneLake.

Recursos do Delta Lake e experiências do Fabric

Para alcançar interoperabilidade, todas as experiências do Fabric se alinham aos recursos do Delta Lake e às funcionalidades do Fabric. Algumas experiências só podem gravar em tabelas Delta Lake, enquanto outras podem ler dela.

  • Gravadores: data warehouses, fluxos de eventos e modelos semânticos do Power BI exportados para o OneLake
  • Leitores: ponto de extremidade de análise SQL e modelos semânticos diretos do lake do Power BI
  • Gravadores e Leitores: runtime do Fabric Spark, fluxos de dados, pipelines de dados e bancos de dados da Linguagem de Consulta Kusto (KQL)

A matriz a seguir mostra os principais recursos do Delta Lake e seu suporte em cada funcionalidade do Fabric.

Funcionalidade do Fabric Mapeamentos de coluna baseados em nome Vetores de exclusão Gravador de V-Order Manutenção e otimização de tabelas Gravar partições Ler partições Versão do leitor/gravador delta e recursos de tabela padrão
Exportação do Delta Lake do Data Warehouse Não Sim Sim Sim Não Sim Leitor: 3
Gravador: 7
Vetores de exclusão
Ponto de extremidade de análise do SQL Não Sim N/A (não aplicável) N/A (não aplicável) N/A (não aplicável) Sim N/A (não aplicável)
Spark do Fabric, runtime 1.2 Sim Sim Sim Sim Sim Yes Leitor: 1
Gravador: 2
Spark do Fabric, runtime 1.1 Sim Não Sim Sim Sim Yes Leitor: 1
Gravador: 2
Fluxos de dados Sim Sim Sim Não Sim Yes Leitor: 1
Gravador: 2
Pipelines de dados Não No Sim Não Sim, somente substituir Sim Leitor: 1
Gravador: 2
Modelos semânticos direct lake do Power BI Sim Yes N/A (não aplicável) N/A (não aplicável) N/A (não aplicável) Sim N/A (não aplicável)
Exportar modelos semânticos do Power BI para o OneLake Sim N/A (não aplicável) Sim Não Sim N/A (não aplicável) Leitor: 2
Gravador: 5
Bancos de dados KQL Sim Sim Não Não* Sim Yes Leitor: 1
Gravador: 1
Eventstreams Não No No No Sim N/A (não aplicável) Leitor: 1
Gravador: 2

* Os bancos de dados KQL fornecem alguns recursos de manutenção de tabelas, como retenção. Os dados são removidos do OneLake no final do período de retenção. Para obter mais informações, confira Uma cópia lógica.

Observação

  • Por padrão, o Fabric não grava mapeamentos de coluna baseados em nomes. A experiência padrão do Fabric gera tabelas que são compatíveis em todo o serviço. O Delta lake, produzido por serviços de terceiros, pode ter recursos de tabela incompatíveis.
  • Algumas experiências Fabric não têm funcionalidades herdadas de otimização e manutenção de tabelas, como compactação de compartimentos, ordenação em V e limpeza de arquivos antigos não referenciados. Para manter as tabelas Delta Lake ideais para análise, siga as técnicas em Usar o recurso de manutenção de tabela para gerenciar as tabelas Delta no Fabric para tabelas ingeridas usando essas experiências.

Limitações atuais

Atualmente, o Fabric não dá suporte para esses recursos do Delta Lake:

  • Mapeamento de colunas usando IDs
  • Delta Lake 3.x Uniform
  • Delta Lake 3.x Liquid clustering
  • Tipo de dados TIMESTAMP_NTZ
  • Gravação de colunas de identidade (recurso proprietário do Databricks)
  • Delta Live Tables (recurso proprietário da Databricks)

Conteúdo relacionado