Co to jest Delta Sharing?
W tym artykule przedstawiono udostępnianie funkcji Delta w usłudze Azure Databricks— bezpieczną platformę udostępniania danych, która umożliwia udostępnianie danych i zasobów sztucznej inteligencji w usłudze Azure Databricks użytkownikom spoza organizacji, niezależnie od tego, czy użytkownicy korzystają z usługi Databricks, czy nie. Udostępnianie różnicowe jest również podstawą witryny Databricks Marketplace, otwartego forum do wymiany produktów danych i clean rooms, bezpiecznego i chroniącego prywatność środowiska, w którym wiele stron może współpracować w odniesieniu do poufnych danych przedsiębiorstwa.
Udostępnianie różnicowe jest również dostępne jako projekt typu open source, którego można użyć do udostępniania tabel delta z innych platform.
Uwaga
Aby dowiedzieć się, jak uzyskiwać dostęp do danych, które zostały Ci udostępnione przy użyciu funkcji Udostępniania różnicowego, zobacz Access data shared with you using Delta Sharing (dla adresatów).
Jak działa udostępnianie różnicowe?
Usługa Delta Sharing to otwarty protokół opracowany przez usługę Databricks na potrzeby bezpiecznego udostępniania danych innym organizacjom niezależnie od używanych platform obliczeniowych.
Istnieją trzy sposoby udostępniania danych przy użyciu funkcji udostępniania różnicowego:
Protokół udostępniania usługi Databricks-to-Databricks, który umożliwia udostępnianie danych i zasobów sztucznej inteligencji z poziomu obszaru roboczego z obsługą wykazu aparatu Unity użytkownikom, którzy mają również dostęp do obszaru roboczego usługi Databricks z obsługą wykazu aparatu Unity.
To podejście korzysta z serwera udostępniania różnicowego wbudowanego w usługę Azure Databricks. Obsługuje ona niektóre funkcje udostępniania różnicowego, które nie są obsługiwane w innych protokołach, w tym udostępnianie notesów, udostępnianie woluminów wykazu aparatu Unity, udostępnianie modelu AI wykazu aparatu Unity, nadzór nad danymi wykazu aparatu Unity, inspekcja i śledzenie użycia dla dostawców i adresatów. Integracja z katalogiem aparatu Unity upraszcza konfigurowanie i nadzór zarówno dla dostawców, jak i odbiorców oraz poprawia wydajność.
Zobacz Udostępnianie danych przy użyciu protokołu Delta Sharing Databricks-to-Databricks (dla dostawców).
Otwarty protokół udostępniania usługi Databricks, który umożliwia udostępnianie danych tabelarycznych zarządzanych w obszarze roboczym usługi Databricks z obsługą wykazu aparatu Unity użytkownikom na dowolnej platformie obliczeniowej.
To podejście korzysta z serwera udostępniania różnicowego wbudowanego w usługę Azure Databricks i jest przydatne podczas zarządzania danymi przy użyciu wykazu aparatu Unity i udostępniania go użytkownikom, którzy nie korzystają z usługi Databricks lub nie mają dostępu do obszaru roboczego usługi Databricks z obsługą wykazu aparatu Unity. Integracja z katalogiem aparatu Unity po stronie dostawcy upraszcza konfigurowanie dostawców i zarządzanie nimi.
Implementacja zarządzana przez klienta serwera udostępniania różnicowego typu open source, która umożliwia udostępnianie z dowolnej platformy do dowolnej platformy niezależnie od tego, czy jest to usługa Databricks, czy nie.
Dokumentacja usługi Azure Databricks nie obejmuje instrukcji dotyczących konfigurowania własnego serwera udostępniania różnicowego. Zobacz github.com/delta-io/delta-sharing.
Udziały, dostawcy i odbiorcy
Podstawowe pojęcia dotyczące udostępniania różnicowego w usłudze Azure Databricks to udziały, dostawcy i odbiorcy.
Co to jest udział?
W przypadku udostępniania różnicowego udział jest kolekcją tabel i partycji tabel tylko do odczytu, którą dostawca chce udostępnić jednemu lub większej odbiorcom. Jeśli odbiorca korzysta z obszaru roboczego usługi Databricks z obsługą wykazu aparatu Unity, możesz również uwzględnić pliki notesu, widoki (w tym widoki dynamiczne ograniczające dostęp na poziomie wiersza i kolumny), woluminy wykazu aparatu Unity i modele wykazu aparatu Unity w udziale.
W dowolnym momencie można dodawać lub usuwać tabele, widoki, woluminy, modele i pliki notesów z udziału. W dowolnym momencie możesz też przypisać lub odwołać dostęp adresata danych do udziału w dowolnym momencie.
W obszarze roboczym usługi Azure Databricks z obsługą wykazu aparatu Unity udział jest zabezpieczanym obiektem zarejestrowanym w wykazie aparatu Unity. Jeśli usuniesz udział z magazynu metadanych usługi Unity Catalog, wszyscy odbiorcy tego udziału utracą możliwość dostępu do niego.
Zobacz Tworzenie udziałów i zarządzanie nimi na potrzeby udostępniania różnicowego.
Co to jest dostawca?
Dostawca to jednostka, która udostępnia dane adresatowi. Jeśli jesteś dostawcą i chcesz korzystać z wbudowanego serwera udostępniania różnicowego usługi Databricks oraz zarządzać udziałami i adresatami przy użyciu wykazu aparatu Unity, potrzebujesz co najmniej jednego obszaru roboczego usługi Azure Databricks włączonego dla wykazu aparatu Unity. Nie trzeba migrować wszystkich istniejących obszarów roboczych do wykazu aparatu Unity. Możesz po prostu utworzyć nowy obszar roboczy z obsługą wykazu aparatu Unity na potrzeby udostępniania różnicowego.
Jeśli adresat znajduje się w obszarze roboczym usługi Databricks z obsługą wykazu aparatu Unity, dostawca jest również zabezpieczanym obiektem wykazu aparatu Unity, który reprezentuje organizację dostawcy i kojarzy tę organizację z zestawem udziałów.
Kim jest odbiorca?
Odbiorca to jednostka, która odbiera udziały od dostawcy. W wykazie aparatu Unity udział jest zabezpieczanym obiektem reprezentującym organizację i kojarzy go z poświadczeniami lub bezpiecznym identyfikatorem udostępniania, który umożliwia tej organizacji dostęp do co najmniej jednego udziału.
Jako dostawca danych (udostępniający) możesz zdefiniować wielu odbiorców dla dowolnego magazynu metadanych usługi Unity Catalog, ale jeśli chcesz udostępnić dane z wielu magazynów metadanych konkretnemu użytkownikowi lub grupie użytkowników, musisz zdefiniować odbiorcę osobno dla każdego magazynu metadanych. Odbiorca może mieć dostęp do wielu udziałów.
Jeśli dostawca usunie adresata z magazynu metadanych wykazu aparatu Unity, odbiorca utraci dostęp do wszystkich udziałów, do których wcześniej mógł uzyskać dostęp.
Zobacz Tworzenie adresatów danych i zarządzanie nimi na potrzeby udostępniania różnicowego.
Otwieranie udostępniania w porównaniu z udostępnianiem usługi Databricks do usługi Databricks
W tej sekcji opisano dwa protokoły udostępniania z obszaru roboczego usługi Databricks, który jest włączony dla wykazu aparatu Unity.
Uwaga
W tej sekcji założono, że dostawca znajduje się w obszarze roboczym usługi Azure Databricks z obsługą wykazu aparatu Unity. Aby dowiedzieć się więcej na temat konfigurowania serwera udostępniania różnicowego typu open source do udostępniania z platformy innej niż databricks lub obszaru roboczego wykazu nienależących do aparatu Unity, zobacz github.com/delta-io/delta-sharing.
Sposób, w jaki dostawca korzysta z funkcji delta sharing w usłudze Azure Databricks, zależy od tego, z kim udostępniają dane:
- Otwarte udostępnianie umożliwia udostępnianie danych dowolnemu użytkownikowi, niezależnie od tego, czy ma on dostęp do usługi Azure Databricks.
- Udostępnianie usługi Databricks-to-Databricks umożliwia udostępnianie danych użytkownikom usługi Azure Databricks, których obszar roboczy jest dołączony do magazynu metadanych wykazu aparatu Unity, który różni się od Twoich. Usługa Databricks-to-Databricks obsługuje również udostępnianie notesów, woluminów i modeli, które nie jest dostępne w otwartym udostępnianiu.
Co to jest otwarte udostępnianie różnicowe?
Jeśli chcesz udostępniać dane użytkownikom spoza obszaru roboczego usługi Azure Databricks, niezależnie od tego, czy korzystają z usługi Databricks, możesz bezpiecznie udostępniać dane za pomocą funkcji udostępniania różnicowego. Jako dostawca danych generujesz token i bezpiecznie udostępniasz go adresatowi. Używają tokenu do uwierzytelniania i uzyskiwania dostępu do odczytu do tabel uwzględnionych w udziałach, do których udzielono im dostępu.
Adresaci mogą uzyskiwać dostęp do udostępnionych danych przy użyciu wielu narzędzi obliczeniowych i platform, w tym:
- Azure Databricks
- Apache Spark
- Pandy
- Power BI
Pełną listę łączników usługi Delta Sharing i informacje o sposobie ich używania można znaleźć w dokumentacji udostępniania różnicowego.
Co to jest udostępnianie funkcji delta usługi Databricks do usługi Databricks?
Jeśli chcesz udostępnić dane użytkownikom, którzy mają obszar roboczy usługi Databricks, który jest włączony dla wykazu aparatu Unity, możesz użyć funkcji udostępniania różnicowego usługi Databricks do usługi Databricks. Udostępnianie danych z usługi Databricks do usługi Databricks umożliwia udostępnianie danych użytkownikom na innych kontach usługi Databricks, niezależnie od tego, czy są one na platformie AWS, platformie Azure, czy platformie GCP. Jest to również doskonały sposób bezpiecznego udostępniania danych w różnych magazynach metadanych wykazu aparatu Unity na własnym koncie usługi Databricks. Należy pamiętać, że nie ma potrzeby używania funkcji Udostępniania różnicowego do udostępniania danych między obszarami roboczymi dołączonymi do tego samego magazynu metadanych wykazu aparatu Unity, ponieważ w tym scenariuszu można użyć samego wykazu aparatu Unity do zarządzania dostępem do danych między obszarami roboczymi.
Jedną z zalet udostępniania usługi Databricks-to-Databricks jest to, że odbiorca udziału nie potrzebuje tokenu dostępu do udziału, a dostawca nie musi zarządzać tokenami adresatów. Zabezpieczenia połączenia udostępniania — w tym wszystkie weryfikacje tożsamości, uwierzytelnianie i inspekcja — są zarządzane całkowicie za pośrednictwem funkcji Delta Sharing i platformy Databricks. Kolejną zaletą jest możliwość udostępniania plików notesów usługi Databricks, widoków, woluminów wykazu aparatu Unity i modeli wykazu aparatu Unity.
Zobacz również Udostępnianie danych przy użyciu protokołu delta sharing Databricks-to-Databricks (dla dostawców).Zobacz też Udostępnianie danych przy użyciu protokołu delta sharing Databricks (dla dostawców).
Jak administratorzy dostawcy konfigurują udostępnianie różnicowe?
Ta sekcja zawiera omówienie sposobu, w jaki dostawcy mogą włączać udostępnianie różnicowe i inicjować udostępnianie z poziomu obszaru roboczego usługi Azure Databricks z obsługą wykazu aparatu Unity. Aby uzyskać informacje na temat udostępniania różnicowego typu open source, zobacz github.com/delta-io/delta-sharing.
Udostępnianie danych między magazynami metadanych wykazu aparatu Unity w tym samym koncie jest zawsze włączone. Jeśli jesteś dostawcą, który chce włączyć udostępnianie usługi Delta w celu udostępniania danych w obszarach roboczych usługi Databricks na innych kontach lub klientach spoza usługi Databricks, administrator konta usługi Azure Databricks lub administrator magazynu metadanych wykonuje następujące kroki konfiguracji (na wysokim poziomie):
Włącz udostępnianie różnicowe dla magazynu metadanych wykazu aparatu Unity, który zarządza danymi, które chcesz udostępnić.
Uwaga
Nie musisz włączać udostępniania różnicowego w magazynie metadanych, jeśli zamierzasz używać funkcji Udostępniania różnicowego do udostępniania danych tylko użytkownikom w innych magazynach metadanych wykazu aparatu Unity na twoim koncie. Udostępnianie między magazynami metadanych w ramach jednego konta Azure Databricks jest włączone domyślnie.
Zobacz sekcję Włączenie funkcji Delta Sharing w magazynie metadanych.
Utwórz udział zawierający zasoby danych zarejestrowane w magazynie metadanych wykazu aparatu Unity.
Jeśli udostępniasz adresaci spoza usługi Databricks (znanej jako udostępnianie otwarte), możesz uwzględnić tabele w formacie delta lub Parquet. Jeśli planujesz używać udostępniania usługi Databricks do usługi Databricks, możesz również dodawać widoki, woluminy wykazu aparatu Unity, modele wykazu aparatu Unity i pliki notesu do udziału.
Zobacz Tworzenie udziałów i zarządzanie nimi na potrzeby udostępniania różnicowego.
Utwórz adresata.
Zobacz Tworzenie adresatów danych i zarządzanie nimi na potrzeby udostępniania różnicowego.
Jeśli adresat nie jest użytkownikiem usługi Databricks lub nie ma dostępu do obszaru roboczego usługi Databricks włączonego dla wykazu aparatu Unity, musisz użyć otwartego udostępniania. Dla tego adresata jest generowany zestaw poświadczeń opartych na tokenach.
Jeśli odbiorca ma dostęp do obszaru roboczego usługi Databricks, który jest włączony dla wykazu aparatu Unity, możesz użyć funkcji Udostępniania usługi Databricks do usługi Databricks i nie są wymagane żadne poświadczenia oparte na tokenach. Żądasz identyfikatora udostępniania od adresata i użyjesz go do nawiązania bezpiecznego połączenia.
Napiwek
Użyj siebie jako adresata testowego, aby wypróbować proces instalacji.
Udziel adresatowi dostępu do co najmniej jednego udziału.
Zobacz Zarządzanie dostępem do udziałów danych usługi Delta Sharing (dla dostawców).
Uwaga
Ten krok można również wykonać przez użytkownika niebędącego administratorem z uprawnieniami
USE SHARE
USE RECIPIENT
iSET SHARE PERMISSION
. Zobacz Uprawnienia wykazu aparatu Unity i zabezpieczane obiekty.Wyślij adresatowi informacje potrzebne do nawiązania połączenia z udziałem (otwórz tylko udostępnianie).
Zobacz Wysyłanie adresata informacji o połączeniu.
Aby otworzyć udostępnianie, użyj bezpiecznego kanału, aby wysłać odbiorcy link aktywacji, który umożliwia im pobranie poświadczeń opartych na tokenach.
W przypadku udostępniania danych databricks-to-Databricks dane zawarte w udziale staną się dostępne w obszarze roboczym usługi Databricks odbiorcy, gdy tylko przyznasz im dostęp do udziału.
Odbiorca może teraz uzyskiwać dostęp do udostępnionych danych.
Jak adresaci uzyskują dostęp do udostępnionych danych?
Adresaci uzyskują dostęp do udostępnionych zasobów danych w formacie tylko do odczytu. Udostępnione pliki notesu są tylko do odczytu, ale można je sklonować, a następnie zmodyfikować i uruchomić w obszarze roboczym adresata tak samo jak w przypadku każdego innego notesu.
Bezpieczny dostęp zależy od modelu udostępniania:
- Otwieranie udostępniania (adresat nie ma włączonego obszaru roboczego usługi Databricks dla wykazu aparatu Unity): odbiorca udostępnia poświadczenia za każdym razem, gdy uzyskuje dostęp do danych w wybranym narzędziu, w tym Apache Spark, pandas, Power BI, Databricks i wiele innych. Zobacz Odczytywanie danych udostępnionych przy użyciu udostępniania otwartego udostępniania różnicowego (dla adresatów).
- Databricks-to-Databricks (obszar roboczy odbiorcy jest włączony dla wykazu aparatu Unity): odbiorca uzyskuje dostęp do danych przy użyciu usługi Databricks. Mogą oni używać wykazu aparatu Unity do udzielania i odmowy dostępu innym użytkownikom na swoim koncie usługi Databricks. Zobacz Odczyt danych udostępnionych przy użyciu funkcji udostępniania różnicowego usługi Databricks do usługi Databricks (dla adresatów).
Za każdym razem, gdy dostawca danych aktualizuje tabele danych lub woluminy na swoim koncie usługi Databricks, aktualizacje są wyświetlane niemal w czasie rzeczywistym w systemie odbiorcy.
Jak śledzić, kto udostępnia i uzyskuje dostęp do udostępnionych danych?
Dostawcy danych w obszarach roboczych usługi Azure Databricks z obsługą wykazu aparatu Unity mogą używać rejestrowania inspekcji usługi Azure Databricks i tabel systemowych do monitorowania tworzenia i modyfikowania udziałów i adresatów oraz monitorować aktywność adresatów w udziałach. Zobacz Inspekcja i monitorowanie udostępniania danych.
Adresaci danych korzystający z udostępnionych danych w obszarze roboczym usługi Databricks mogą używać rejestrowania inspekcji usługi Databricks i tabel systemowych, aby zrozumieć, kto uzyskuje dostęp do jakich danych. Zobacz Inspekcja i monitorowanie udostępniania danych.
Udostępnianie woluminów
Woluminy można udostępniać przy użyciu przepływu udostępniania usługi Databricks do usługi Databricks. Zobacz Dodawanie woluminów do udziału (dla dostawców) i Odczyt danych udostępnionych przy użyciu funkcji udostępniania różnicowego usługi Databricks do usługi Databricks (dla adresatów) (dla adresatów).
Udostępnianie modeli
Modele można udostępniać przy użyciu przepływu udostępniania usługi Databricks do usługi Databricks. Zobacz Dodawanie modeli do udziału (dla dostawców) i Odczyt danych udostępnionych przy użyciu funkcji udostępniania różnicowego usługi Databricks do usługi Databricks (dla adresatów).
Udostępnianie notesów
Udostępnianie różnicowe umożliwia udostępnianie plików notesu przy użyciu przepływu udostępniania usługi Databricks-to-Databricks. Zobacz Dodawanie plików notesu do udziału (dla dostawców) i Odczyt udostępnionych notesów (dla adresatów).
Ograniczanie dostępu na poziomie wiersza i kolumny
Możesz udostępniać widoki dynamiczne, które ograniczają dostęp do określonych danych tabeli na podstawie właściwości adresata. Udostępnianie widoku dynamicznego wymaga przepływu udostępniania usługi Databricks do usługi Databricks. Zobacz Dodawanie widoków dynamicznych do udziału w celu filtrowania wierszy i kolumn.
Udostępnianie i przesyłanie strumieniowe usługi Delta
Udostępnianie różnicowe obsługuje przesyłanie strumieniowe ze strukturą platformy Spark. Dostawca może udostępnić tabelę historii, aby odbiorca mógł używać go jako źródła przesyłania strumieniowego ze strukturą, przetwarzać udostępnione dane przyrostowo z małym opóźnieniem. Adresaci mogą również wykonywać zapytania dotyczące podróży w czasie usługi Delta Lake dla tabel udostępnionych historii.
Aby dowiedzieć się, jak udostępniać tabele historii, zobacz Dodawanie tabel do udziału. Aby dowiedzieć się, jak używać tabel udostępnionych jako źródeł przesyłania strumieniowego, zobacz Wykonywanie zapytań w tabeli przy użyciu przesyłania strumieniowego ze strukturą platformy Apache Spark (dla adresatów udostępniania danych usługi Databricks-to-Databricks) lub Uzyskiwanie dostępu do udostępnionej tabeli przy użyciu przesyłania strumieniowego ze strukturą platformy Spark (dla adresatów otwartych danych udostępniania).
Zobacz również Przesyłanie strumieniowe w usłudze Azure Databricks.
Macierz obsługi funkcji usługi Delta Lake
Udostępnianie różnicowe obsługuje większość funkcji usługi Delta Lake podczas udostępniania tabeli. Ta lista macierzy obsługi:
- Funkcje różnicowe, które wymagają określonych wersji środowiska Databricks Runtime, łącznika usługi Delta Sharing Spark typu open source lub łącznika języka Python udostępniania różnicowego typu open source.
- Częściowo obsługiwane funkcje.
Funkcja | Dostawca | Odbiorca usługi Databricks | Odbiorca typu open source |
---|---|---|---|
Wektory usuwania | Udostępnianie tabel za pomocą tej funkcji jest dostępne w publicznej wersji zapoznawczej. | — Środowisko Databricks Runtime 14.1 lub nowsze dla zapytań wsadowych — Środowisko Databricks Runtime 14.2 lub nowsze dla zapytań CDF i przesyłania strumieniowego |
— Delta Sharing Spark Connector 3.1+ — Delta Sharing Python Connector 1.1.0+ — Power BI w wersji 2.132.908.0+ |
Mapowanie kolumn | Udostępnianie tabel za pomocą tej funkcji jest dostępne w publicznej wersji zapoznawczej. | — Środowisko Databricks Runtime 14.1 lub nowsze dla zapytań wsadowych — Środowisko Databricks Runtime 14.2 lub nowsze dla zapytań CDF i przesyłania strumieniowego |
— Delta Sharing Spark Connector 3.1+ — Delta Sharing Python Connector 1.1.0+ — Power BI w wersji 2.132.908.0+ |
Jednolity format | Udostępnianie tabel za pomocą tej funkcji jest dostępne w publicznej wersji zapoznawczej. | — Środowisko Databricks Runtime 14.1 lub nowsze dla zapytań wsadowych — Środowisko Databricks Runtime 14.2 lub nowsze dla zapytań CDF i przesyłania strumieniowego |
— Delta Sharing Spark Connector 3.1+ — Delta Sharing Python Connector 1.1.0+ — Power BI w wersji 2.132.908.0+ |
Punkt kontrolny w wersji 2 | Obsługiwane z ograniczeniami | Obsługiwane z ograniczeniami | Obsługiwane z ograniczeniami |
TimestampNTZ | Obsługiwane | Databricks Runtime 14.1+ | Delta Sharing Spark Connector 3.3+ |
Klastrowanie liquid | Obsługiwane z ograniczeniami | Obsługiwane z ograniczeniami | Obsługiwane z ograniczeniami |
Delta Sharing (udostępnianie różnicowe) — często zadawane pytania
Poniżej przedstawiono często zadawane pytania dotyczące udostępniania różnicowego.
Czy do korzystania z funkcji udostępniania różnicowego potrzebuję wykazu aparatu Unity?
Nie, nie potrzebujesz wykazu aparatu Unity do udostępniania (jako dostawca) ani do korzystania z udostępnionych danych (jako adresat). Jednak wykaz aparatu Unity zapewnia korzyści, takie jak obsługa udostępniania zasobów innych niż tabelaryczne i sztucznej inteligencji, wbudowany nadzór, prostota i wydajność zapytań.
Dostawcy mogą udostępniać dane na dwa sposoby:
Umieszczenie zasobów do udostępniania w ramach zarządzania wykazem aparatu Unity i udostępnienie ich przy użyciu wbudowanego serwera udostępniania różnicowego usługi Azure Databricks.
Nie trzeba migrować wszystkich zasobów do wykazu aparatu Unity. Potrzeba tylko jednego obszaru roboczego usługi Azure Databricks, który jest włączony dla wykazu aparatu Unity, aby zarządzać zasobami do udostępnienia. Na niektórych kontach nowe obszary robocze mają automatycznie włączoną obsługę wykazu aparatu Unity. Patrz Automatyczne włączanie wykazu Unity.
Zaimplementuj otwarty serwer udostępniania różnicowego, aby udostępniać dane bez konieczności używania konta usługi Azure Databricks.
Adresaci mogą korzystać z danych na dwa sposoby:
Bez obszaru roboczego usługi Databricks. Użycie łączników udostępniania różnicowego typu open source, które są dostępne dla wielu platform danych, w tym usługi Power BI, biblioteki pandas i platformy Apache Spark typu open source. Zobacz Odczyt danych udostępnionych przy użyciu udostępniania otwartego Delta Sharing (dla adresatów) i Projekt Delta Sharing typu open source.
W obszarze roboczym usługi Databricks. Obszary robocze adresatów nie muszą mieć włączonej obsługi wykazu aparatu Unity, ale istnieją zalety pod względem nadzoru, prostoty i wydajności.
Organizacje adresatów, które chcą mieć takie korzyści, nie muszą migrować wszystkich zasobów do wykazu aparatu Unity. Potrzeba tylko jednego obszaru roboczego usługi Azure Databricks, który jest włączony dla wykazu aparatu Unity, aby zarządzać udostępnionymi zasobami. Na niektórych kontach nowe obszary robocze mają automatycznie włączoną obsługę wykazu aparatu Unity. Patrz Automatyczne włączanie wykazu Unity.
Zobacz Odczyt danych udostępnionych przy użyciu udostępniania otwartego Delta Sharing (dla adresatów) i Odczyt danych udostępnionych przy użyciu funkcji udostępniania różnicowego między Databricks (dla adresatów).
Czy muszę być klientem usługi Databricks, aby korzystać z funkcji Delta Sharing (udostępnianie różnicowe)?
Nie, Delta Sharing (udostępnianie różnicowe) jest protokołem otwartym. Możesz udostępniać dane spoza usługi Databricks adresatom na dowolnej platformie danych. Dostawcy mogą skonfigurować otwarty serwer udostępniania różnicowego do udostępniania z dowolnej platformy obliczeniowej. Adresaci mogą korzystać z udostępnionych danych przy użyciu łączników udostępniania różnicowego typu open source dla wielu produktów danych, w tym Power BI, biblioteki pandas i platformy Spark typu open source.
Jednak korzystanie z funkcji Delta Sharing (udostępnianie różnicowe) w usłudze Azure Databricks, szczególnie udostępniania z obszaru roboczego obsługującego wykaz aparatu Unity, ma wiele zalet.
Aby uzyskać szczegółowe informacje, zobacz pierwsze pytanie w tym często zadawanych pytaniach.
Czy Delta Sharing (udostępnianie różnicowe) powoduje naliczanie kosztów ruchu wychodzącego?
Udostępnianie różnicowe w regionie nie wiąże się z żadnymi kosztami ruchu wychodzącego. W przeciwieństwie do innych platform udostępniania danych udostępnianie różnicowe nie wymaga replikacji danych. Ten model ma wiele zalet, ale oznacza to, że dostawca chmury może pobierać opłaty za ruch wychodzący podczas udostępniania danych w chmurach lub regionach. Usługa Azure Databricks obsługuje udostępnianie z usługi Cloudflare R2, która nie wiąże się z opłatami za ruch wychodzący oraz udostępnia inne narzędzia i zalecenia do monitorowania i unikania opłat za ruch wychodzący. Zobacz Monitorowanie i kontrolowanie kosztów ruchu wychodzącego Delta Sharing (udostępnianie różnicowe) (dla dostawców).
Czy dostawcy mogą odwołać dostęp adresata?
Tak, dostęp adresata można odwołać na żądanie i na określonych poziomach szczegółowości. Można odmówić adresatowi dostępu do określonych udziałów i określonych adresów IP, filtrować dane tabelaryczne adresata, odwoływać tokeny adresata i całkowicie usuwać adresatów. Zobacz Odwoływanie dostępu adresata do udziału oraz Tworzenie adresatów danych i zarządzanie nimi na potrzeby udostępniania różnicowego.
Czy używanie wstępnie podpisanych adresów URL nie jest niebezpieczne?
Funkcja Delta Sharing używa wstępnie podpisanych adresów URL w celu zapewnienia tymczasowego dostępu do pliku w magazynie obiektów. Są one przekazywane tylko adresatom, którzy mają już dostęp do udostępnionych danych. Są one bezpieczne, ponieważ są krótkotrwałe i nie rozszerzają poziomu dostępu poza tym, którzy adresaci już otrzymali.
Czy tokeny używane w otwartym protokole udostępniania Delta Sharing są bezpieczne?
Udostępnianie różnicowe umożliwia udostępnianie międzyplatformowe — w przeciwieństwie do innych dostępnych platform udostępniania danych — protokół udostępniania wymaga otwartego tokenu. Dostawcy mogą zapewnić bezpieczeństwo tokenów, konfigurując okres istnienia tokenu, ustawiając mechanizmy kontroli sieci i odwołując dostęp na żądanie. Ponadto token nie rozszerza poziomu dostępu poza ten, który adresaci już otrzymali. Zobacz Zagadnienia dotyczące bezpieczeństwa tokenów.
Jeśli wolisz nie używać tokenów do zarządzania dostępem do udziałów adresatów, alternatywnie możesz użyć funkcji udostępniania między Databricks lub skontaktować się z zespołem ds. kont usługi Databricks.
Czy udostępnianie funkcji delta obsługuje udostępnianie widoku?
Tak, udostępnianie funkcji delta obsługuje udostępnianie widoków. Zobacz Dodawanie widoków do udziału.
Aby dowiedzieć się więcej o planowanych ulepszeniach wyświetlania udostępniania, skontaktuj się z zespołem ds. kont usługi Databricks.
Ograniczenia
- Dane tabelaryczne muszą być w formacie tabeli Delta. Tabele Parquet można łatwo przekonwertować na wersję Delta i odwrotnie. Zobacz sekcję KONWERSJA NA FORMAT DELTA.
- Funkcja Delta Sharing obsługuje tabele korzystające z płynnego klastrowania i punktu kontrolnego w wersji 2 z następującymi ograniczeniami:
- Adresaci mogą uruchamiać tylko zapytania dotyczące migawek. Nie mogą uruchamiać zestawienia zmian danych (CDF) ani zapytań przesyłanych strumieniowo.
- Dostawcy nie mogą udostępnić tabeli z filtrowaniem partycji.
- Ograniczenia tabel (ograniczenia klucza podstawowego i obcego) nie są dostępne w tabelach udostępnionych.
- Udostępnianie widoków jest obsługiwane tylko w przypadku udostępniania między platformami Databricks. Udostępniane widoki muszą być zdefiniowane w tabelach Delta lub innych udostępnianych widokach. Zobacz Dodawanie widoków do udziału (dla dostawców) i Odczyt widoków udostępnionych (dla adresatów).
- Udostępnianie notesów jest obsługiwane tylko w usłudze Databricks-to-Databricks sharing. Zobacz Dodawanie plików notesu do udziału i Odczyt danych udostępnionych przy użyciu funkcji udostępniania różnicowego usługi Databricks do usługi Databricks (dla adresatów).
- Udostępnianie woluminów jest obsługiwane tylko w przypadku udostępniania między platformami Databricks. Zobacz Dodawanie woluminów do udziału (dla dostawców) i Odczyt danych udostępnionych przy użyciu funkcji udostępniania różnicowego między Databricks (dla adresatów).
- Udostępnianie modeli jest obsługiwane tylko w przypadku udostępniania między platformami Databricks. Zobacz Dodawanie modeli do udziału (dla dostawców) i Odczyt danych udostępnionych przy użyciu funkcji udostępniania różnicowego między Databricks (dla adresatów).
- Istnieją ograniczenia dotyczące liczby plików metadanych dozwolonych dla udostępnionej tabeli. Aby dowiedzieć się więcej, zobacz Błędy przekroczenia limitu zasobów.
- Schematów o nazwie
information_schema
nie można zaimportować do magazynu metadanych usługi Unity Catalog, ponieważ ta nazwa schematu jest zarezerwowana w katalogu Unity. - Udostępnianie
SHALLOW CLONE
tabel nie jest obsługiwane przez udostępnianie różnicowe. Usługa Azure Databricks nie obsługuje wstępnego przypisania adresów URL dla dzienników delty odwołujących się do ścieżek bezwzględnych.
Zobacz również macierz obsługi funkcji usługi Delta Lake.
Przydziały zasobów
Usługa Azure Databricks wymusza limity przydziału zasobów dla wszystkich zabezpieczanych obiektów funkcji Delta Sharing. Te limity przydziału są wymienione w temacie Limity zasobów. Jeśli spodziewasz się przekroczyć te limity zasobów, skontaktuj się z zespołem konta usługi Azure Databricks.
Użycie limitu przydziału można monitorować przy użyciu interfejsów API przydziałów zasobów wykazu aparatu Unity. Zobacz Monitorowanie użycia przydziałów zasobów wykazu aparatu Unity.
Następne kroki
- Włączanie konta usługi Databricks na potrzeby udostępniania różnicowego
- Tworzenie udziałów
- Tworzenie adresatów
- Dowiedz się więcej o modelach udostępniania otwartych i udostępniania usługi Databricks do usługi Databricks
- Dowiedz się, jak adresaci uzyskują dostęp do udostępnionych danych