Udostępnij za pośrednictwem


Współdziałanie formatu tabeli usługi Delta Lake

W usłudze Microsoft Fabric format tabeli usługi Delta Lake jest standardem analizy. Usługa Delta Lake to warstwa magazynu typu open source, która zapewnia transakcje ACID (niepodzielność, spójność, izolacja, trwałość) do obciążeń danych big data i analiz.

Wszystkie środowiska sieci szkieletowej generują tabele usługi Delta Lake i korzystają z nich, co napędza współdziałanie i ujednolicone środowisko produktu. Tabele usługi Delta Lake tworzone przez jeden aparat obliczeniowy, taki jak magazyn danych synapse lub usługa Synapse Spark, mogą być używane przez dowolny inny aparat, taki jak usługa Power BI. Podczas pozyskiwania danych do sieci szkieletowej sieć szkieletowa przechowuje je domyślnie jako tabele delty. Możesz łatwo zintegrować dane zewnętrzne zawierające tabele usługi Delta Lake przy użyciu skrótów OneLake.

Funkcje usługi Delta Lake i środowiska sieci szkieletowej

Aby osiągnąć współdziałanie, wszystkie środowiska sieci szkieletowej są zgodne z funkcjami usługi Delta Lake i możliwościami usługi Fabric. Niektóre środowiska mogą zapisywać tylko w tabelach usługi Delta Lake, podczas gdy inne mogą je odczytywać.

  • Autorzy: magazyny danych, strumienie zdarzeń i wyeksportowane modele semantyczne usługi Power BI do usługi OneLake
  • Czytelnicy: punkt końcowy analizy SQL i modele semantyczne usługi Power BI direct lake
  • Autorzy i czytelnicy: środowisko uruchomieniowe platformy Spark sieci szkieletowej, przepływy danych, potoki danych i bazy danych język zapytań Kusto (KQL)

Poniższa macierz przedstawia kluczowe funkcje usługi Delta Lake i ich obsługę w każdej funkcji sieci szkieletowej.

Możliwości sieci szkieletowej Mapowania kolumn na podstawie nazw Wektory usuwania Zapisywanie w kolejności wirtualnej Optymalizacja i konserwacja tabel Zapisywanie partycji Odczyt partycji Funkcja czytnika/składnika zapisywania różnicowego i domyślne funkcje tabeli
Eksportowanie usługi Delta Lake magazynu danych Nie. Tak Tak Tak Nie Tak Czytelnik: 3
Pisarz: 7
Wektory usuwania
Punkt końcowy analizy SQL Nie. Tak Nie dotyczy (nie dotyczy) Nie dotyczy (nie dotyczy) Nie dotyczy (nie dotyczy) Tak Nie dotyczy (nie dotyczy)
Środowisko uruchomieniowe platformy Spark w sieci szkieletowej 1.2 Tak Tak Tak Tak Tak Tak Czytelnik: 1
Zapis: 2
Środowisko uruchomieniowe platformy Spark w sieci szkieletowej 1.1 Tak Nie Tak Tak Tak Tak Czytelnik: 1
Zapis: 2
Przepływy danych Tak Tak Tak Nie Tak Tak Czytelnik: 1
Zapis: 2
Potoki danych Nie Nie. Tak Nie. Tak, zastąp tylko Tak Czytelnik: 1
Zapis: 2
Modele semantyczne usługi Power BI direct lake Tak Tak Nie dotyczy (nie dotyczy) Nie dotyczy (nie dotyczy) Nie dotyczy (nie dotyczy) Tak Nie dotyczy (nie dotyczy)
Eksportowanie modeli semantycznych usługi Power BI do usługi OneLake Tak Nie dotyczy (nie dotyczy) Tak Nie Tak Nie dotyczy (nie dotyczy) Czytelnik: 2
Pisarz: 5
Bazy danych KQL Tak Tak Nie. Nie* Tak Tak Czytelnik: 1
Zapis: 1
Strumienie zdarzeń Nie Nie. Nie. Nie. Tak Nie dotyczy (nie dotyczy) Czytelnik: 1
Zapis: 2

* Bazy danych KQL zapewniają pewne możliwości konserwacji tabel, takie jak przechowywanie. Dane są usuwane na końcu okresu przechowywania z usługi OneLake. Aby uzyskać więcej informacji, zobacz Jedną kopię logiczną.

Uwaga

  • Sieć szkieletowa domyślnie nie zapisuje mapowań kolumn opartych na nazwach. Domyślne środowisko sieci szkieletowej generuje tabele zgodne z usługą. Usługa Delta Lake, utworzona przez usługi innych firm, może mieć niezgodne funkcje tabeli.
  • Niektóre środowiska sieci szkieletowej nie mają dziedziczonych możliwości optymalizacji i konserwacji tabel, takich jak bin-compaction, V-order i czyszczenie starych niereferenowanych plików. Aby zachować optymalne tabele usługi Delta Lake na potrzeby analizy, postępuj zgodnie z technikami w temacie Używanie funkcji konserwacji tabeli do zarządzania tabelami różnicowymi w usłudze Fabric na potrzeby tabel pozyskanych przy użyciu tych środowisk.

Bieżące ograniczenia

Obecnie usługa Fabric nie obsługuje tych funkcji usługi Delta Lake:

  • Mapowanie kolumn przy użyciu identyfikatorów
  • Delta Lake 3.x Uniform
  • Klaster Delta Lake 3.x Liquid
  • typ danych TIMESTAMP_NTZ
  • Pisanie kolumn tożsamości (zastrzeżona funkcja usługi Databricks)
  • Delta Live Tables (zastrzeżona funkcja usługi Databricks)