Udostępnione metadane usługi Azure Synapse Analytics

Usługa Azure Synapse Analytics umożliwia różnym aparatom obliczeniowym obszaru roboczego udostępnianie baz danych i tabel między pulami platformy Apache Spark i bezserwerową pulą SQL.

Udostępnianie obsługuje tzw. wzorzec nowoczesnego magazynu danych i umożliwia silnikom SQL w obszarze roboczym dostęp do baz danych i tabel utworzonych za pomocą Sparka. Umożliwia również aparatom SQL tworzenie własnych obiektów, które nie są udostępniane innym aparatom.

Ważna

Tabele utworzone na platformie Spark z więcej niż 1024 kolumnami mogą być wyświetlane w Eksploratorze obiektów, ale nie można wykonywać zapytań z bezserwerowej puli SQL z powodu niekompletnej synchronizacji metadanych.

Obejście: Unikaj tworzenia tabel platformy Spark z więcej niż 1024 kolumnami, jeśli muszą być odpytywane z bezserwerowej puli SQL. Przeprojektuj schemat i utwórz ponownie tabelę.

Obsługa nowoczesnego magazynu danych

Model udostępnionych metadanych obsługuje nowoczesny wzorzec magazynu danych w następujący sposób:

  1. Dane z jeziora danych są przygotowywane i efektywnie ustrukturyzowane za pomocą platformy Spark, poprzez przechowywanie przygotowanych danych w tabelach (ewentualnie podzielonych na partycje) opartych na Parquet, które mogą być zawarte w kilku bazach danych.

  2. Bazy danych utworzone przy użyciu Spark oraz wszystkie ich tabele stają się widoczne we wszystkich wystąpieniach puli Spark w obszarze roboczym usługi Azure Synapse i mogą być używane w dowolnych zadaniach Spark. Ta możliwość podlega uprawnieniom, ponieważ wszystkie pule Spark w obszarze roboczym współdzielą ten sam podstawowy magazyn metadanych katalogu.

  3. Platforma Spark utworzyła bazy danych, a ich tabele oparte na formacie Parquet lub CSV stają się widoczne w bezserwerowej puli SQL obszaru roboczego. Bazy danych są tworzone automatycznie w metadanych bezserwerowej puli SQL, a zarówno zewnętrzne, jak i zarządzane tabele utworzone przez zadanie platformy Spark są dostępne jako tabele zewnętrzne w bezserwerowych metadanych puli SQL w dbo schemacie odpowiedniej bazy danych.

Synchronizacja obiektów odbywa się asynchronicznie. Obiekty będą miały niewielkie opóźnienie w ciągu kilku sekund, dopóki nie pojawią się w kontekście SQL. Po ich pojawieniu się można wykonywać zapytania, ale nie są aktualizowane ani zmieniane przez aparaty SQL, które mają do nich dostęp.

Udostępnione obiekty metadanych

Platforma Spark umożliwia tworzenie baz danych, tabel zewnętrznych, tabel zarządzanych i widoków. Ponieważ widoki platformy Spark wymagają silnika Spark do przetwarzania definiującej instrukcji Spark SQL i nie mogą być przetwarzane przez silnik SQL, tylko bazy danych i zawarte w nich tabele zewnętrzne i zarządzane używające formatu przechowywania Parquet lub CSV są udostępniane silnikowi SQL obszaru roboczego. Widoki w systemie Spark są współużytkowane tylko między instancjami puli Spark.

Model zabezpieczeń na pierwszy rzut oka

Bazy danych i tabele platformy Spark, wraz z ich zsynchronizowanymi reprezentacjami w aparacie SQL, są zabezpieczone na poziomie bazowego magazynu. Gdy tabela jest odpytywana przez dowolne z silników, których przesyłający zapytanie ma prawo używać, tożsamość zabezpieczeń przesyłającego zapytanie jest przekazywana do plików źródłowych. Uprawnienia są sprawdzane na poziomie systemu plików.

Aby uzyskać więcej informacji, zobacz Udostępniona baza danych usługi Azure Synapse Analytics.

Zmiana konserwacji

Jeśli obiekt metadanych zostanie usunięty lub zmieniony za pomocą platformy Spark, zmiany zostaną pobrane i rozpropagowane do bezserwerowej puli SQL. Synchronizacja jest asynchroniczna i zmiany są odzwierciedlane w aparacie SQL po krótkim opóźnieniu.

Następne kroki

  • Last updated on