Condividi tramite

Interoperabilità in formato tabella Delta Lake

  • Articolo

In Microsoft Fabric il formato di tabella Delta Lake è lo standard per l'analisi. Delta Lake è un livello di archiviazione open source che porta le transazioni ACID (Atomicità, Coerenza, Isolamento, Durabilità) ai carichi di lavoro di Big Data e analisi.

Tutte le esperienze di Infrastruttura generano e utilizzano tabelle Delta Lake, guidando l'interoperabilità e un'esperienza unificata del prodotto. Le tabelle Delta Lake prodotte da un motore di calcolo, ad esempio Synapse Data warehouse o Synapse Spark, possono essere utilizzate da qualsiasi altro motore, ad esempio Power BI. Quando si inseriscono dati in Fabric, Fabric lo archivia come tabelle Delta per impostazione predefinita. È possibile integrare facilmente dati esterni contenenti tabelle Delta Lake usando i collegamenti a OneLake.

Funzionalità delta Lake ed esperienze di infrastruttura

Per ottenere l'interoperabilità, tutte le esperienze fabric sono allineate alle funzionalità delta Lake e alle funzionalità di Fabric. Alcune esperienze possono scrivere solo in tabelle Delta Lake, mentre altre possono leggervi.

  • Writer: data warehouse, flussi di eventi ed esportati modelli semantici di Power BI in OneLake
  • Lettori: endpoint di analisi SQL e modelli semantici direct lake di Power BI
  • Writer e lettori: runtime spark dell'infrastruttura, flussi di dati, pipeline di dati e database di Linguaggio di query Kusto (KQL)

La matrice seguente illustra le funzionalità principali di Delta Lake e il relativo supporto per ogni funzionalità di Fabric.

Funzionalità dell'infrastruttura Mapping di colonne basate su nomi Vettori di eliminazione Scrittura in ordine V Ottimizzazione e manutenzione delle tabelle Scrivere partizioni Leggere le partizioni Funzionalità di lettura/scrittura differenziali e funzionalità di tabella predefinite
Esportazione delta Lake del data warehouse No Sì Sì Sì No Sì Lettore: 3
Writer: 7
Vettori di eliminazione
Endpoint di analisi SQL No Sì N/D (non applicabile) N/D (non applicabile) N/D (non applicabile) Sì N/D (non applicabile)
Runtime di Fabric Spark 1.2 Sì Sì Sì Sì Sì Sì Lettore: 1
Writer: 2
Runtime di Fabric Spark 1.1 Sì No Sì Sì Sì Sì Lettore: 1
Writer: 2
Flussi di dati Sì Sì Sì No Sì Sì Lettore: 1
Writer: 2
Pipeline di dati No No Sì No Sì, sovrascrivere solo Sì Lettore: 1
Writer: 2
Modelli semantici direct lake di Power BI Sì Sì N/D (non applicabile) N/D (non applicabile) N/D (non applicabile) Sì N/D (non applicabile)
Esportare modelli semantici di Power BI in OneLake Sì N/D (non applicabile) Sì No Sì N/D (non applicabile) Lettore: 2
Writer: 5
Database KQL Sì Sì No No* Sì Sì Lettore: 1
Writer: 1
Flussi di eventi No No No No Sì N/D (non applicabile) Lettore: 1
Writer: 2

* I database KQL offrono determinate funzionalità di manutenzione delle tabelle, ad esempio la conservazione. I dati vengono rimossi alla fine del periodo di conservazione da OneLake. Per altre informazioni, vedere Una copia logica.

Nota

  • Fabric non scrive mapping di colonne basate su nomi per impostazione predefinita. L'esperienza di infrastruttura predefinita genera tabelle compatibili nel servizio. Delta lake, prodotto da servizi di terze parti, potrebbe avere caratteristiche di tabella incompatibili.
  • Alcune esperienze di Infrastruttura non hanno funzionalità ereditate di ottimizzazione e manutenzione delle tabelle, ad esempio la compattazione bin, l'ordine V e la pulizia dei file non con riferimenti precedenti. Per mantenere ottimali le tabelle Delta Lake per l'analisi, seguire le tecniche descritte in Usare la funzionalità di manutenzione tabelle per gestire le tabelle delta in Fabric per le tabelle inserite usando tali esperienze.

Limitazioni correnti

Attualmente Fabric non supporta queste funzionalità di Delta Lake:

  • Mapping di colonne con ID
  • Delta Lake 3.x Uniform
  • Clustering di Delta Lake 3.x Liquid
  • TIMESTAMP_NTZ tipo di dati
  • Scrittura di colonne Identity (funzionalità proprietaria di Databricks)
  • Tabelle live delta (funzionalità proprietaria di Databricks)

Contenuto correlato