Obiekty bazy danych w usłudze Azure Databricks

Usługa Azure Databricks używa dwóch podstawowych zabezpieczanych obiektów do przechowywania i uzyskiwania dostępu do danych.

• Tabele zarządzają dostępem do danych tabelarycznych.
• Woluminy kontrolują dostęp do danych innych niż tabelaryczne.

W tym artykule opisano, jak te obiekty bazy danych odnoszą się do katalogów, schematów, widoków i innych obiektów bazy danych w usłudze Azure Databricks. Ten artykuł zawiera również ogólne wprowadzenie do sposobu działania obiektów bazy danych w kontekście ogólnej architektury platformy.

Co to są obiekty bazy danych w usłudze Azure Databricks?

Obiekty bazy danych to jednostki, które ułatwiają organizowanie, uzyskiwanie dostępu i zarządzanie danymi. Usługa Azure Databricks używa hierarchii trójwarstwowej do organizowania obiektów bazy danych:

1. Wykaz: kontener najwyższego poziomu zawiera schematy. Zobacz Co to są wykazy w usłudze Azure Databricks?.
2. Schemat lub baza danych: zawiera obiekty danych. Zobacz Co to są schematy w usłudze Azure Databricks?.
3. Obiekty danych, które mogą być zawarte w schemacie:
   • Wolumin: wolumin logiczny danych innych niż tabelaryczne w magazynie obiektów w chmurze. Zobacz Co to są woluminy Unity Catalog?.
   • Tabela: kolekcja danych uporządkowana według wierszy i kolumn. Zobacz Tabele usługi Azure Databricks.
   • Widok: zapisane zapytanie dla jednej lub więcej tabel. Zobacz Co to jest widok?.
   • Funkcja: zapisana logika zwracająca wartość skalarną lub zestaw wierszy. Zobacz funkcje zdefiniowane przez użytkownika (UDF) w katalogu Unity.
   • Model: model uczenia maszynowego spakowany za pomocą biblioteki MLflow. Zobacz Zarządzanie cyklem życia modeli w katalogu Unity.

Katalogi są rejestrowane w magazynie metadanych, który jest zarządzany na poziomie konta. Tylko administratorzy wchodzą w interakcje bezpośrednio z magazynem metadanych. Zobacz Metastore.

Usługa Azure Databricks udostępnia dodatkowe zasoby do pracy z danymi, którymi można zarządzać przy użyciu kontroli dostępu na poziomie przestrzeni roboczej lub rozwiązania Unity Catalog, które jest rozwiązaniem Databricks do zarządzania danymi.

• Zasoby danych na poziomie obszaru roboczego, takie jak notesy, zadania i zapytania.
• Zabezpieczane obiekty katalogu Unity, takie jak poświadczenia magazynowe i udziały w Delta Sharing, które przede wszystkim kontrolują dostęp do magazynu lub bezpieczne udostępnianie danych.

Aby uzyskać więcej informacji, zobacz Zabezpieczalne obiekty bazy danych vs. obszar roboczy zasobów danych oraz Zabezpieczalne poświadczenia i infrastruktura Unity Catalog.

Zarządzanie dostępem do obiektów bazy danych przy użyciu Unity Catalog

Możesz udzielić i odwołać dostęp do obiektów bazy danych na dowolnym poziomie w hierarchii, w tym samego magazynu metadanych. Dostęp do obiektu automatycznie przyznaje taki sam dostęp wszystkim elementom podrzędnym tego obiektu, chyba że dostęp zostanie cofnięty.

Typowe polecenia ANSI SQL umożliwiają przyznawanie i odwoływanie dostępu do obiektów w Katalogu Unity. Eksplorator wykazu umożliwia również zarządzanie uprawnieniami obiektu danych opartego na interfejsie użytkownika.

Aby uzyskać więcej informacji na temat zabezpieczania obiektów w Unity Catalog, zobacz Zabezpieczanie obiektów w Unity Catalog.

Domyślne uprawnienia obiektu w Katalogu Unity

W zależności od sposobu tworzenia i włączania obszaru roboczego dla Unity Catalog, użytkownicy mogą mieć domyślne uprawnienia do automatycznie aprowizowanych katalogów, w tym wykazu lub wykazu obszaru roboczego (). Aby uzyskać więcej informacji, zobacz Domyślne uprawnienia użytkownika.

Jeśli obszar roboczy został włączony ręcznie dla Unity Catalog, zawiera on domyślny schemat o nazwie default w katalogu main, który jest dostępny dla wszystkich użytkowników obszaru roboczego. Jeśli Twój obszar roboczy został automatycznie włączony dla usługi Unity Catalog i zawiera <workspace-name> katalog, to ten katalog zawiera schemat o nazwie default dostępny dla wszystkich użytkowników w Twoim obszarze roboczym.

Obiekty bazy danych a zabezpieczane zasoby danych obszaru roboczego

Usługa Azure Databricks umożliwia zarządzanie wieloma zasobami inżynierii danych, analizy, uczenia maszynowego i sztucznej inteligencji wraz z obiektami bazy danych. Nie rejestrujesz tych zasobów danych w Katalogu Unity. Zamiast tego te zasoby są zarządzane na poziomie obszaru roboczego przy użyciu list kontrolnych w celu zarządzania uprawnieniami. Te zasoby danych obejmują następujące elementy:

• Notebooks
• Pulpity nawigacyjne
• Stanowiska
• Pipelines
• Pliki obszaru roboczego
• Zapytania SQL
• Eksperymenty

Większość zasobów danych zawiera logikę, która współdziała z obiektami bazy danych w celu wykonywania zapytań dotyczących danych, używania funkcji, rejestrowania modeli lub innych typowych zadań. Aby dowiedzieć się więcej na temat zabezpieczania zasobów danych obszaru roboczego, zobacz Listy kontroli dostępu.

Uwaga

Dostęp do obliczeń podlega listom kontroli dostępu. Środowisko obliczeniowe można skonfigurować przy użyciu trybu dostępu i dodać dodatkowe uprawnienia do chmury, które kontrolują, jak użytkownicy mogą uzyskiwać dostęp do danych. Usługa Databricks zaleca używanie polityk obliczeniowych i ograniczanie uprawnień do tworzenia klastrów jako najlepsza praktyka w zakresie zarządzania danymi. Zobacz Tryby dostępu.

Poświadczenia zabezpieczalne i infrastruktura Unity Catalog

Unity Catalog zarządza dostępem do obiektów w chmurze, udostępnianiem danych i federacją zapytań za pomocą zabezpieczanych obiektów zarejestrowanych na poziomie metastore. Poniżej przedstawiono krótkie opisy obiektów, które nie mogą być zabezpieczone danymi.

Łączenie Unity Catalog z chmurową pamięcią obiektów

Należy zdefiniować poświadczenia magazynu i lokalizacje zewnętrzne, aby utworzyć nową zarządzaną lokalizację magazynu lub zarejestrować tabele zewnętrzne lub woluminy zewnętrzne. Te zabezpieczane obiekty są rejestrowane w Unity Catalog.

• Poświadczenie dostępu do przechowywania w chmurze: długoterminowe poświadczenie, które zapewnia dostęp do przechowywania danych w chmurze.
• Lokalizacja zewnętrzna: odwołanie do ścieżki magazynu obiektów w chmurze dostępnej za pomocą sparowanego poświadczenia magazynowego.

Zobacz Połączenie z magazynem obiektów w chmurze przy użyciu Unity Catalog.

Delta Sharing

Usługa Azure Databricks rejestruje następujące obiekty zabezpieczalne w Delta Sharing w Katalog Unity:

• Udział: kolekcja tabel, woluminów i innych zasobów danych tylko do odczytu.
• Dostawca: organizacja lub jednostka, która udostępnia dane. W modelu udostępniania Databricks-to-Databricks dostawca jest zarejestrowany w katalogu Unity metadanych odbiorcy jako unikatowa jednostka zidentyfikowana przez identyfikator magazynu metadanych.
• Odbiorca: jednostka, która odbiera udziały od dostawcy. W modelu udostępniania usługi Databricks-to-Databricks odbiorca jest identyfikowany u dostawcy za pomocą unikatowego identyfikatora magazynu metadanych.

Zobacz Delta Sharing.

Federacja Lakehouse

Federacja Lakehouse umożliwia tworzenie katalogów obcych w celu zapewnienia dostępu tylko do odczytu do danych znajdujących się w innych systemach, takich jak PostgreSQL, MySQL i Snowflake. Aby utworzyć wykazy obce, należy zdefiniować połączenie z systemem zewnętrznym.

Połączenie: Obiekt zabezpieczający w katalogu Unity określa ścieżkę i dane uwierzytelniające do uzyskania dostępu do zewnętrznego systemu baz danych w scenariuszu federacji Lakehouse.

Zobacz Co to jest Federacja Lakehouse?.

Zarządzane lokalizacje magazynu dla zarządzanych woluminów i tabel

Podczas tworzenia tabel i woluminów w Azure Databricks możesz wybrać, czy mają być zarządzane, czy zewnętrzne. Unity Catalog zarządza dostępem do zewnętrznych tabel oraz wolumenów z usługi Azure Databricks, ale nie kontroluje fizycznych plików ani nie zarządza w pełni ich lokalizacją przechowywania. Z drugiej strony zarządzane tabele i woluminy są w pełni zarządzane przez Unity Catalog i są przechowywane w zarządzanej lokalizacji magazynu skojarzonej ze schematem, który zawiera. Patrz Określanie lokalizacji magazynu zarządzanego w Unity Catalog.

Databricks zaleca woluminy zarządzane i tabele zarządzane dla większości obciążeń, ponieważ upraszczają konfigurację, optymalizację i zarządzanie.

Unity Catalog vs. starszy metastore Hive

Zaleca się używanie Unity Catalog do rejestrowania i zarządzania wszystkimi obiektami bazy danych, ale także zapewnia dawną obsługę metastore Hive do zarządzania schematami, tabelami, widokami i funkcjami.

Jeśli korzystasz z obiektów bazy danych zarejestrowanych przy użyciu magazynu metadanych Hive, zobacz Obiekty bazy danych w starszym magazynie metadanych Hive.