Dostęp do zmaterializowanych widoków i tabel strumieniowych za pomocą systemów zewnętrznych

Domyślnie zmaterializowane widoki i tabele strumieniowe nie są dostępne z systemów zewnętrznych. Azure Databricks udostępnia dwie funkcje, które umożliwiają udostępnianie zestawów danych klientom usługi Delta Lake lub Iceberg:

  • Dostęp do danych zewnętrznych (publiczna wersja zapoznawcza) — włączenie dostępu do danych zewnętrznych dla zestawów danych potoku powoduje utworzenie kopii metadanych zestawu danych, która umożliwia klientom korzystanie z interfejsów API REST usługi Unity Catalog lub Iceberg bez konieczności tworzenia pełnej kopii danych ani osobnego harmonogramu odświeżania. Klienci muszą korzystać z interfejsów API REST katalogu i obsługiwać albo Delta 4.0.0 lub nowszą, albo specyfikację Iceberg v3.

    Aby uzyskać szczegółowe informacje o dostępie do danych zewnętrznych dla zbiorów danych potoku, zobacz Włączanie dostępu do danych zewnętrznych dla tabel strumieniowych i zmaterializowanych widoków.

  • Tryb zgodności (publiczna wersja zapoznawcza) — włączenie trybu zgodności dla zestawu danych generuje wersję danych tylko do odczytu w wybranej lokalizacji, która musi zostać zaktualizowana po odświeżeniu tabel. Wersja zgodności zawiera metadane w wersji 1 zarówno dla formatów Delta Lake, jak i Iceberg wraz z kopią danych tylko do odczytu, umożliwiając dostęp do szerszego zakresu klientów (w tym klientów, którzy muszą bezpośrednio odczytywać dane tabeli, a nie za pośrednictwem interfejsu API) kosztem opóźnienia aktualizacji danych i kosztów kopiowania danych.

    Aby uzyskać szczegółowe informacje na temat trybu zgodności, zobacz Tryb zgodności.

Jeśli zewnętrzni klienci obsługują interfejsy API REST, Azure Databricks zaleca korzystanie z dostępu do danych zewnętrznych w celu zapewnienia tym klientom dostępu do zmaterializowanych widoków lub tabel przesyłania strumieniowego. Aby zapewnić zgodność z szerszą gamą klientów, zwłaszcza ich starszych wersji, oraz z innymi tabelami zarządzanymi przez Unity Catalog, użyj trybu zgodności.

Capability Dostęp do danych zewnętrznych Tryb zgodności
Kopiowanie danych Nie jest wymagana żadna kopia danych. Wymagana jest kopia danych.
Consistency Spójność odczytu po zapisie. Klienci zewnętrzni widzą zmiany zaraz po ich wprowadzeniu w zestawie danych. Aktualizacje są wykonywane zgodnie z harmonogramem. Domyślnie tabela zgodności aktualizuje co godzinę. Można ją ustawić tak, aby była aktualizowana natychmiast po zmianie tabeli źródłowej, ale nadal jest opóźniona przez czas kopiowania danych.
Access Wymaga "nowoczesnego" dostępu do interfejsu API REST. Obsługuje interfejsy API katalogu Delta w wersji 4.0.0 lub nowszej albo interfejsy API specyfikacji Iceberg v3 (wymaga obsługi wektorów usuwania). Kompatybilny ze wszystkimi klientami Delta Lake lub Iceberg.
Obiekt pojedynczej tabeli Zmaterializowane widoki i tabele strumieniowe są widoczne dla klientów zewnętrznych jako tabele zarządzane o tej samej nazwie co oryginalny zestaw danych. Tabele zgodności są wyświetlane jako nowa tabela w nowej lokalizacji dla klientów zewnętrznych.
Obsługa typów tabel Obsługuje zmaterializowane widoki i tabele strumieniowe zarządzane przez potok Lakeflow. Obsługuje zmaterializowane widoki i tabele strumieniowe, niezależnie od tego, czy są zarządzane przez potok Lakeflow, czy są samodzielne, a także wszelkie inne tabele zarządzane przez Unity Catalog.
Cost Koszt utrzymywania metadanych dostępnych zewnętrznie stanowi część kosztu odświeżania zmaterializowanego widoku lub tabeli strumieniowej. Jest to zazwyczaj poniżej 1% kosztu i czasu odświeżania. Większość kosztów trybu zgodności to koszt przesyłania starszych danych do nowej lokalizacji.

Dodatkowe zasoby

  • Last updated on