Condividi tramite

Interoperabilità del formato della tabella Delta Lake

In Microsoft Fabric il formato di tabella Delta Lake è lo standard per l'analisi. Delta Lake è un livello di archiviazione open source che porta le transazioni ACID (Atomicità, Coerenza, Isolamento, Durabilità) ai carichi di lavoro di big data e analisi.

Tutte le esperienze Fabric generano e consumano nativamente le tabelle Delta Lake, offrendo un'esperienza di prodotto unificata. Le tabelle Delta Lake prodotte da un motore di calcolo, ad esempio Fabric Data Warehouse o Synapse Spark, possono essere utilizzate da qualsiasi altro motore, ad esempio Power BI. Quando si inseriscono dati in Fabric, Fabric lo archivia come tabelle Delta per impostazione predefinita. È possibile integrare facilmente dati esterni contenenti tabelle Delta Lake usando i collegamenti a OneLake.

Funzionalità di Delta Lake ed esperienze di Fabric

Per ottenere l'interoperabilità, tutte le esperienze Fabric sono allineate alle caratteristiche di Delta Lake e alle funzionalità di Fabric. Alcune esperienze possono scrivere solo in tabelle Delta Lake, mentre altre possono leggere da esse.

  • Writers: data warehouse, flussi di eventi e modelli semantici di Power BI esportati in OneLake
  • Reader: endpoint di analisi SQL e modelli semantici "direct lake" di Power BI
  • Writers e lettori: runtime di Fabric Spark, flussi di dati, pipeline di dati e database del linguaggio di query Kusto (KQL)

La matrice seguente illustra le funzionalità principali di Delta Lake e la relativa disponibilità in ogni esperienza di Infrastruttura.

Funzionalità del fabric Mappatura delle colonne Vettori di eliminazione Scrittura in ordine a V Ottimizzazione e manutenzione delle tabelle Partizioni Clustering liquido TIMESTAMP_NTZ Versione del lettore/scrittore Delta e caratteristiche predefinite della tabella
Esportazione Delta Lake del data warehouse Nome: Sì
ID: No		 Sì Sì Sì Lettura: N.D. (non applicabile)
Scrittura: No		 NO NO Lettore: 3
Writer: 7
Vettori di eliminazione,
Mappature delle colonne (nome)
Endpoint di analisi SQL Nome: Sì
ID: Nessuno		 Sì N/D (non applicabile) N/D (non applicabile) Lettura: Sì
Scrivi: N/A (non applicabile)		 Sì NO N/D (non applicabile)
Lakehouse Explorer e anteprima Nome: Sì
ID: No		 Sì N/D (non applicabile) Sì Leggere: Sì
Indica: N/A (non applicabile)		 Sì Sì N/D (non applicabile)
Fabric Spark Runtime 1.3 Nome: Sì
ID: Sì		 Sì Sì Sì Letto: Sì
Scrivi: Sì		 Sì Sì Lettore: 1
Scrittore: 2
Fabric Spark Runtime 1.2 Nome: Sì
ID: Sì		 Sì Sì Sì Leggi: Sì
Scrivi: Sì		 Sì, sola lettura Sì Lettore: 1
Scrittore: 2
Fabric Spark Runtime 1.1 Nome: Sì
ID: Sì		 NO Sì Sì Lettura: Sì
Scrivi: Sì		 Sì, sola lettura NO Lettore: 1
Scrittore: 2
Flussi di dati Gen2 Nome: Sì
ID: No		 Sì Sì NO Lettura: Sì
Scrivi: Sì		 Sì, sola lettura NO Lettore: 1
Scrittore: 2
Canali di dati Nome: Nessuno
ID: No		 NO Sì NO Letto: Sì
Scrivere: Sì, solo sovrascrivere		 Sì, sola lettura NO Lettore: 1
Scrittore: 2
Modelli semantici Direct Lake di Power BI Nome: Sì
ID: Nessun		 Sì N/D (non applicabile) N/D (non applicabile) Letto: Sì
Scrivi: N/D (non applicabile)		 Sì NO N/D (non applicabile)
Esportare modelli semantici di Power BI in OneLake Nome: Sì
ID: No		 N/D (non applicabile) Sì NO Lettura: N/A (non applicabile)
Scrittura: No		 NO NO Lettore: 2
Scrittore: 5
Mappature delle colonne (nome)
Database di KQL Nome: Sì
ID: No		 Sì NO Nessun* Lettura: Sì
Scrivi: Sì		 NO NO Lettore: 1
Writer: 1
Flussi di eventi Nome: No
ID: Nessuno		 NO NO NO Lettura: N/A (non applicabile)
Scrivi: Sì		 NO NO Lettore: 1
Scrittore: 2

* database KQL offrono alcune funzionalità di manutenzione delle tabelle, ad esempio conservazione. I dati vengono rimossi alla fine del periodo di conservazione da OneLake. Per altre informazioni, vedere Una copia logica.

Nota

  • Fabric non scrive i mapping delle colonne per impostazione predefinita, tranne dove indicato. L'esperienza predefinita di Fabric genera tabelle compatibili attraverso il servizio. Le tabelle Delta Lake prodotte da servizi di terze parti possono avere funzionalità di tabella incompatibili.
  • Alcune esperienze di Fabric non offrono funzionalità di ottimizzazione e manutenzione delle tabelle, ad esempio la compattazione dei bidoni, l'ordine V, la fusione dei vettori di eliminazione (PURGE) e la pulizia dei file vecchi senza riferimenti (VACUUM). Per mantenere ottimali le Tabelle Delta Lake per l'analisi, seguire le tecniche riportate in Usare la funzionalità di manutenzione tabelle per gestire le Tabelle Delta in Fabric per le tabelle acquisite utilizzando tali esperienze.

Limitazioni correnti

Attualmente Fabric non supporta queste funzionalità di Delta Lake:

  • I checkpoint V2 non sono disponibili in modo uniforme in tutte le esperienze. Solo i notebook Spark e i processi Spark possono leggere e scrivere su tabelle con checkpoint V2. Lakehouse e Analisi SQL non elencano correttamente le tabelle contenenti i file del checkpoint V2 nella __delta_log cartella .
  • Delta Lake 3.x Uniform. Questa funzionalità è supportata solo nel calcolo Spark di Data Engineering (Notebook, Processi Spark).
  • Scrittura di colonne di identità (funzionalità proprietaria di Databricks)
  • Delta Live Tables (funzionalità proprietaria di Databricks)
  • Funzionalità di Delta Lake 4.x: ampliamento del tipo, collazioni, tipo variante, commit coordinati.

Caratteri speciali per i nomi delle tabelle

Microsoft Fabric supporta caratteri speciali come parte dei nomi delle tabelle. Questa funzionalità consente l'utilizzo dei caratteri Unicode per comporre nomi di tabella nelle esperienze di Microsoft Fabric.

I caratteri speciali seguenti sono riservati o non compatibili con almeno una delle tecnologie di Microsoft Fabric e non devono essere usati come parte di un nome di tabella: " (virgolette doppie), ' (virgolette singole), #, %, +, :, ?, ' (backtick).

Contenuto correlato