Del via

Interoperabilitet i tabelformatet Delta Lake

I Microsoft Fabric er tabelformatet Delta Lake standard for analyser. Delta Lake er et lagerlag med åben kildekode, der bringer ACID-transaktioner (Atomicity, Consistency, Isolation, Holdbarhed) til big data- og analysearbejdsbelastninger.

Alle Fabric-oplevelser genererer og forbruger oprindeligt Delta Lake-tabeller, hvilket giver en samlet produktoplevelse. Delta Lake-tabeller, der er produceret af ét beregningsprogram, f.eks. Fabric Data Warehouse eller Synapse Spark, kan forbruges af et hvilket som helst andet program, f.eks. Power BI. Når du indfødning af data i Fabric, gemmer Fabric dem som standard som Delta-tabeller. Du kan nemt integrere eksterne data, der indeholder Delta Lake-tabeller, ved hjælp af OneLake-genveje.

Delta Lake-funktioner og Fabric-oplevelser

For at opnå interoperabilitet er alle Fabric-oplevelserne på linje med Delta Lake-funktionerne og Fabric-funktionerne. Nogle oplevelser kan kun skrive til Delta Lake-tabeller, mens andre kan læse fra dem.

  • Forfattere: Data warehouses, eventstreams og eksporterede semantiske Power BI-modeller til OneLake
  • Læsere: Semantiske sql analytics-slutpunkter og semantiske Power BI-direct lake-modeller
  • Forfattere og læsere: Fabric Spark-kørsel, dataflow, datapipelines og KQL-databaser (Kusto Query Language)

Følgende matrix viser vigtige Delta Lake-funktioner og dens tilgængelighed på hver Fabric-oplevelse.

Strukturfunktionalitet Kolonnetilknytninger Sletningsvektorer V-ordreskrivning Tabeloptimering og vedligeholdelse Partitioner Flydende klynger TIMESTAMP_NTZ Delta-læser-/skriveversion og standardtabelfunktioner
Data warehouse Delta Lake-eksport Navn: Ja
Id: Nej		 Ja Ja Ja Læs: I/T (ikke relevant)
Skriv: Nej		 Nej Nej Læser: 3
Forfatter: 7
Sletningsvektorer,
Kolonnetilknytninger (navn)
SQL Analytics-slutpunkt Navn: Ja
Id: Nej		 Ja I/T (ikke relevant) I/T (ikke relevant) Læs: Ja
Skriv: I/T (ikke relevant)		 Ja Nej I/T (ikke relevant)
Lakehouse Explorer og prøveversion Navn: Ja
Id: Nej		 Ja I/T (ikke relevant) Ja Læs: Ja
Skriv: I/T (ikke relevant)		 Ja Ja I/T (ikke relevant)
Fabric Spark Runtime 1.3 Navn: Ja
Id: Ja		 Ja Ja Ja Læs: Ja
Skriv: Ja		 Ja Ja Læser: 1
Forfatter: 2
Fabric Spark Runtime 1.2 Navn: Ja
Id: Ja		 Ja Ja Ja Læs: Ja
Skriv: Ja		 Ja, skrivebeskyttet Ja Læser: 1
Forfatter: 2
Fabric Spark Runtime 1.1 Navn: Ja
Id: Ja		 Nej Ja Ja Læs: Ja
Skriv: Ja		 Ja, skrivebeskyttet Nej Læser: 1
Forfatter: 2
Dataflow Gen2 Navn: Ja
Id: Nej		 Ja Ja Nej Læs: Ja
Skriv: Ja		 Ja, skrivebeskyttet Nej Læser: 1
Forfatter: 2
Datapipelines Navn: Nej
Id: Nej		 Nej Ja Nej Læs: Ja
Skriv: Ja, overskriv kun		 Ja, skrivebeskyttet Nej Læser: 1
Forfatter: 2
Semantiske power BI-modeller til direct lake Navn: Ja
Id: Nej		 Ja I/T (ikke relevant) I/T (ikke relevant) Læs: Ja
Skriv: I/T (ikke relevant)		 Ja Nej I/T (ikke relevant)
Eksportér semantiske Power BI-modeller til OneLake Navn: Ja
Id: Nej		 I/T (ikke relevant) Ja Nej Læs: I/T (ikke relevant)
Skriv: Nej		 Nej Nej Læser: 2
Forfatter: 5
Kolonnetilknytninger (navn)
KQL-databaser Navn: Ja
Id: Nej		 Ja Nej Ingen* Læs: Ja
Skriv: Ja		 Nej Nej Læser: 1
Forfatter: 1
Eventstreams Navn: Nej
Id: Nej		 Nej Nej Nej Læs: I/T (ikke relevant)
Skriv: Ja		 Nej Nej Læser: 1
Forfatter: 2

* KQL-databaser indeholder visse funktioner til tabelvedligeholdelse, f.eks . opbevaring. Data fjernes i slutningen af opbevaringsperioden fra OneLake. Du kan få flere oplysninger under Én logisk kopi.

Seddel

  • Fabric skriver ikke kolonnetilknytninger som standard, undtagen hvor det er angivet. Standardoplevelsen Fabric genererer tabeller, der er kompatible på tværs af tjenesten. Delta Lake-tabeller, der er produceret af tredjepartstjenester, kan have inkompatible tabelfunktioner.
  • Nogle Fabric-oplevelser tilbyder ikke tabeloptimerings- og vedligeholdelsesfunktioner, f.eks. bin-compaction, V-order, sletningsvektorfletning (PURGE) og oprydning af gamle filer, der ikke refereres til (VACUUM). Hvis du vil holde Delta Lake-tabeller optimale til analyse, skal du følge teknikkerne i Funktionen Brug tabelvedligeholdelse til at administrere deltatabeller i Fabric for tabeller, der indtages ved hjælp af disse oplevelser.

Aktuelle begrænsninger

Fabric understøtter i øjeblikket ikke disse Delta Lake-funktioner:

  • V2 Checkpoints er ikke ensartet tilgængelige i alle oplevelser. Det er kun Spark-notesbøger og Spark-job, der kan læse og skrive til tabeller med V2 Checkpoints. Lakehouse og SQL Analytics angiver ikke de tabeller, der indeholder V2 Checkpoint-filer i mappen __delta_log , korrekt.
  • Delta Lake 3.x Uniform. Denne funktion understøttes kun i Spark-compute for Data Engineering (Notesbøger, Spark-job).
  • Skrivning af identitetskolonner (funktionen Privatejede Databricks)
  • Delta Live Tables (funktionen Databricks, der er beskyttet af ejendomsret)
  • Delta Lake 4.x-funktioner: Udvidelse af type, sorteringer, varianttype, koordinerede bekræftelser.

Specialtegn i tabelnavne

Microsoft Fabric understøtter specialtegn som en del af tabelnavnene. Denne funktion gør det muligt at bruge Unicode-tegn til at skrive tabelnavne i Microsoft Fabric-oplevelser.

Følgende specialtegn er enten reserveret eller ikke kompatible med mindst én Microsoft Fabric-teknologi og må ikke bruges som en del af et tabelnavn: " (dobbelte anførselstegn), ' (enkelt anførselstegn), #, %, +, :, ?, ' (backtick).

Relateret indhold