Dostęp do zmaterializowanych widoków i tabel strumieniowych za pomocą systemów zewnętrznych

Domyślnie zmaterializowane widoki i tabele strumieniowe nie są dostępne z systemów zewnętrznych. Azure Databricks udostępnia dwie funkcje, które umożliwiają udostępnianie zestawów danych klientom usługi Delta Lake lub Iceberg:

  • Dostęp do danych zewnętrznych – Umożliwienie dostępu do danych zewnętrznych dla widoków i tabel streamingowych zarządzanych przez potok oraz samodzielnych zmaterializowanych widoków oraz tabel strumieniowych publikuje metadane zewnętrzne, które pozwalają klientom korzystać z API REST Unity Catalog lub Iceberg bez konieczności pełnej kopii danych czy osobnego harmonogramu odświeżania. Klienci muszą korzystać z katalogowych API REST i wspierać albo Delta Lake 4.0.0 lub nowszą, albo specyfikację Iceberg V3.

    Szczegółowe informacje o dostępie do danych zewnętrznych dla zarządzanych przez potok i samodzielnych widoków materializowanych oraz tabel strumieniowych można znaleźć w temacie Włączanie zewnętrznego dostępu do danych dla tabel strumieniowych i widoków materializowanych.

  • Tryb zgodności (publiczna wersja zapoznawcza) — włączenie trybu zgodności dla zestawu danych generuje wersję danych tylko do odczytu w wybranej lokalizacji, która musi zostać zaktualizowana po odświeżeniu tabel. Wersja zgodności zawiera metadane w wersji 1 zarówno dla formatów Delta Lake, jak i Iceberg wraz z kopią danych tylko do odczytu, umożliwiając dostęp do szerszego zakresu klientów (w tym klientów, którzy muszą bezpośrednio odczytywać dane tabeli, a nie za pośrednictwem interfejsu API) kosztem opóźnienia aktualizacji danych i kosztów kopiowania danych.

    Aby uzyskać szczegółowe informacje na temat trybu zgodności, zobacz Tryb zgodności.

Jeśli zewnętrzni klienci obsługują interfejsy API REST, Azure Databricks zaleca korzystanie z dostępu do danych zewnętrznych w celu zapewnienia tym klientom dostępu do zmaterializowanych widoków lub tabel przesyłania strumieniowego. Aby zapewnić zgodność z szerszą gamą klientów, zwłaszcza ich starszych wersji, oraz z innymi tabelami zarządzanymi przez Unity Catalog, użyj trybu zgodności.

Capability Dostęp do danych zewnętrznych Tryb zgodności
Kopiowanie danych Nie jest wymagana żadna kopia danych. Wymagana jest kopia danych.
Consistency Spójność odczytu po zapisie. Klienci zewnętrzni widzą zmiany zaraz po ich wprowadzeniu w zestawie danych. Aktualizacje są wykonywane zgodnie z harmonogramem. Domyślnie tabela zgodności aktualizuje co godzinę. Można ją ustawić tak, aby była aktualizowana natychmiast po zmianie tabeli źródłowej, ale nadal jest opóźniona przez czas kopiowania danych.
Access Wymaga "nowoczesnego" dostępu do interfejsu API REST. Obsługuje interfejsy API katalogu Delta w wersji 4.0.0 lub nowszej albo interfejsy API specyfikacji Iceberg v3 (wymaga obsługi wektorów usuwania). Kompatybilny ze wszystkimi klientami Delta Lake lub Iceberg.
Obiekt pojedynczej tabeli Zmaterializowane widoki i tabele strumieniowe są widoczne dla klientów zewnętrznych jako tabele zarządzane o tej samej nazwie co oryginalny zestaw danych. Tabele zgodności są wyświetlane jako nowa tabela w nowej lokalizacji dla klientów zewnętrznych.
Obsługa typów tabel Obsługuje zmaterializowane widoki i tabele strumieniowe zarządzane przez potok Lakeflow lub tworzone jako obiekty samodzielne. Obsługuje zmaterializowane widoki i tabele strumieniowe, niezależnie od tego, czy są zarządzane przez potok Lakeflow, czy są samodzielne, a także wszelkie inne tabele zarządzane przez Unity Catalog.
Cost Koszt utrzymywania metadanych dostępnych zewnętrznie stanowi część kosztu odświeżania zmaterializowanego widoku lub tabeli strumieniowej. Jest to zazwyczaj poniżej 1% kosztu i czasu odświeżania. Większość kosztów trybu zgodności to koszt przesyłania starszych danych do nowej lokalizacji.

Dodatkowe zasoby

  • Last updated on