Przewodnik konfiguracji Unity Catalog

Ta strona dotyczy wstępnej konfiguracji Unity Catalog dla administratorów obszaru roboczego w nowym obszarze roboczym Azure Databricks, w tym:

  • Potwierdzanie, że obszar roboczy jest włączony dla Unity Catalog
  • Zarządzanie dostępem do obszaru roboczego i tożsamościami
  • Tworzenie zasobów obliczeniowych zgodnych z Unity Catalog
  • Tworzenie wykazu i schematu dla danych
  • Udzielanie użytkownikom potrzebnych uprawnień

Zanim rozpoczniesz

Przed rozpoczęciem zapoznaj się z następującymi pojęciami związanymi z Unity Catalog:

  • Magazyn metadanych: kontener najwyższego poziomu w usłudze Unity Catalog, obejmujący pojedynczy region chmury. Zawiera wszystkie zabezpieczane obiekty: wykazy, poświadczenia magazynu, lokalizacje zewnętrzne i inne. Zobacz Metastore.
  • Katalog: Obiekt kontenera danych najwyższego poziomu w magazynie metadanych. Wykazy przechowują schematy, które z kolei zawierają tabele, widoki, woluminy i funkcje. Zobacz Wykaz.
  • Role administratorów: Unity Catalog ma trzy główne role administratorów: administratora konta, administratora obszaru roboczego i administratora magazynu metadanych, a każda z nich ma inny zakres i obowiązki. Zobacz Uprawnienia administratora w Unity Catalog.

Potrzebne są również następujące elementy:

  • Obszar roboczy usługi Azure Databricks w planie Premium.
  • Uprawnienia administratora obszaru roboczego. W następujących przypadkach mogą być potrzebne uprawnienia administratora konta :
    • Jeśli obszar roboczy nie ma jeszcze zasobów obliczeniowych, musisz mieć uprawnienia administratora konta, aby sprawdzić w konsoli konta, czy Unity Catalog jest włączony, zgodnie z instrukcjami w Kroku 1: Potwierdź, że w obszarze roboczym włączono Unity Catalog.
    • Jeśli Twój obszar roboczy nie jest przypisany do magazynu metadanych Unity Catalog, musisz mieć uprawnienia administratora konta, aby go przypisać.
    • Jeśli magazyn metadanych nie istnieje, musisz mieć uprawnienia administratora konta, aby go utworzyć.

Krok 1. Potwierdź, że w obszarze roboczym włączono usługę Unity Catalog

Użyj jednej z poniższych metod, aby potwierdzić, że obszar roboczy jest przypisany do metastore usługi Unity Catalog.

Skorzystaj z konsoli konta

Ta metoda wymaga uprawnień administratora konta.

  1. Jako administrator konta Azure Databricks zaloguj się do konsoli konta.
  2. Kliknij ikonę Obszary robocze.Obszary robocze.
  3. Znajdź obszar roboczy i sprawdź kolumnę w magazynie metadanych. Jeśli podano nazwę magazynu metadanych, w obszarze roboczym włączono Unity Catalog.

Uruchamianie zapytania SQL

Ta metoda nie wymaga uprawnień administratora, ale wymaga zasobu obliczeniowego zgodnego z Unity Catalog. Krok 3: Tworzenie zasobów obliczeniowych zgodnych z Unity Catalog prowadzi przez proces tworzenia zasobów obliczeniowych zgodnych z Unity Catalog.

Uruchom następujące polecenie w edytorze zapytań SQL lub notesie dołączonym do zasobu obliczeniowego:

SELECT CURRENT_METASTORE();

Jeśli zapytanie zwraca identyfikator magazynu metadanych, Twój obszar roboczy ma włączony Unity Catalog.

Bieżące dane wyjściowe magazynu metadanych

Jeśli w obszarze roboczym nie włączono funkcji Unity Catalog, zobacz Uaktualnij obszar roboczy usługi Azure Databricks do Unity Catalog.

Krok 2. Zarządzanie dostępem do obszaru roboczego i tożsamościami

Administratorzy obszaru roboczego mogą dodawać użytkowników i grupy, przypisywać role administratora i zarządzać jednostkami usługi.

Dodaj użytkowników

Dodaj poszczególnych użytkowników, którzy potrzebują dostępu do tego obszaru roboczego. Aby uzyskać instrukcje, zobacz Zarządzanie użytkownikami.

Organizowanie użytkowników w grupy

Usługa Databricks zaleca zarządzanie dostępem za pośrednictwem grup, a nie poszczególnych użytkowników. Przyznawanie uprawnień grupie stosuje je do wszystkich członków, co zmniejsza obciążenie administracyjne w miarę rozwoju zespołu.

  • Jeśli organizacja ma już grupy w dostawcy tożsamości : zsynchronizuj je z Azure Databricks przy użyciu automatycznego zarządzania tożsamościami lub aprowizacji SCIM, aby członkostwo w grupie było synchronizowane automatycznie. Zobacz Automatyczne zarządzanie tożsamościami.
  • Jeśli nie masz jeszcze grup: jako administrator obszaru roboczego utwórz grupy na poziomie konta, przechodząc do pozycji Ustawienia>Tożsamość i dostęp>Do zarządzania obok pozycji Grupy. Zobacz Zarządzanie grupami.

Przypisywanie ról administratora

Administratorzy obszaru roboczego mogą wykonywać większość codziennych zadań administracyjnych: dodawanie i usuwanie użytkowników, zarządzanie obliczeniami, konfigurowanie ustawień obszaru roboczego i udzielanie dostępu do danych. Ta rola jest odpowiednia dla członków centralnej platformy danych lub zespołu IT, którzy są odpowiedzialni za utrzymanie obszaru roboczego. Bądź selektywny o tym, kto otrzymuje tę rolę. Administratorzy obszaru roboczego mają szeroki dostęp do zasobów i ustawień obszaru roboczego.

Zazwyczaj rola administratora obszaru roboczego jest jedyną rolą administratora, którą musisz przypisać. Opcjonalnie możesz przypisać administratorów magazynu metadanych do specjalnych przypadków użycia. Możesz na przykład przypisać tę rolę dedykowanemu zespołowi ds. ładu danych lub małej grupie doświadczonych inżynierów platformy, jeśli potrzebujesz:

  • Powierz tworzenie katalogu administratorom spoza obszaru roboczego.
  • Zarządzaj skryptem inicjowania i listą dozwolonych JAR.
  • Odbieranie udostępnionych danych za pośrednictwem funkcji Delta Sharing.
  • Przenieś własność obiektu, gdy członek zespołu odchodzi.

Instrukcje dotyczące przypisywania tych ról znajdują się w sekcji Uprawnienia administratora w Unity Catalog.

Krok 3: Tworzenie zasobów obliczeniowych zgodnych z Unity Catalog

Aby uruchamiać zadania Unity Catalog, zasoby obliczeniowe muszą spełniać wymagania zabezpieczeń Unity Catalog. W poniższej tabeli przedstawiono, które typy obliczeniowe są zgodne:

Typ środowiska obliczeniowego Zgodne ze standardem UC
SQL Warehouse Yes
Obliczenia bezserwerowe (notatniki, zadania, potoki danych) Yes
Klaster — tryb dostępu pojedynczego użytkownika Yes
Klaster — tryb dostępu współdzielonego Yes
Klaster — tryb dostępu współdzielonego bez izolacji No

Aby utworzyć środowisko obliczeniowe zgodne ze standardem UC:

Jako administrator przestrzeni roboczej możesz ograniczyć tworzenie klastrów wyłącznie do administratorów lub użyć zasad klastrów, aby umożliwić użytkownikom tworzenie własnych klastrów zgodnych z Unity Catalog. Zobacz Uprawnienia obliczeniowe i Tworzenie zasad obliczeniowych i zarządzanie nimi.

Krok 4. Tworzenie katalogów i schematów

Katalogi są podstawową jednostką izolacji danych w Unity Catalog. Wszystkie schematy, tabele, woluminy, widoki i funkcje znajdują się w katalogach.

Kiedy utworzyć nowy wykaz

Nowe obszary robocze są automatycznie aprowizowane za pomocą wykazu obszarów roboczych — domyślnie ten wykaz ma nazwę po twoim obszarze roboczym. Aby sprawdzić, czy masz wykaz obszarów roboczych, kliknij ikonę Dane.Wykaz na pasku bocznym i poszukaj wykazu zgodnego z nazwą obszaru roboczego. Jeśli istnieje, może nie być konieczne od razu utworzenie dodatkowych wykazów.

W miarę upływu czasu rozważ utworzenie nowych katalogów w miarę wzrostu użycia, zorganizowanego wokół granic logicznych, takich jak:

  • Zespoły lub jednostki biznesowe: oddzielne katalogi dla inżynierii, finansów i marketingu
  • Środowiska: oddzielne katalogi dev, staging i prod, aby odizolować dane deweloperskie od danych produkcyjnych
  • Projekty: odrębny katalog dla każdego głównego produktu danych lub inicjatywy

Jeśli granice danych organizacji są już dobrze zdefiniowane, możesz teraz tworzyć wykazy.

Tworzenie katalogu

Aby utworzyć wykaz, uruchom następujący kod SQL.

CREATE CATALOG IF NOT EXISTS <catalog-name>;

Uwaga / Notatka

Dane zarządzane w tym wykazie są przechowywane w domyślnej zarządzanej lokalizacji magazynu metadanych. Aby użyć innej lokalizacji, określ wartość MANAGED LOCATION. Zobacz Połączenie z magazynem obiektów w chmurze przy użyciu Unity Catalog.

Następnie utwórz schemat w celu organizowania tabel i innych obiektów danych:

CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

Aby uzyskać szczegółowe instrukcje i sposób korzystania z Eksploratora wykazu, zobacz Tworzenie wykazów i Tworzenie schematów.

Krok 5. Udzielanie uprawnień użytkownikom

W usłudze Unity Catalog użytkownicy domyślnie nie mają dostępu do danych. Administratorzy obszaru roboczego mogą udzielać uprawnień do zabezpieczanych obiektów w obszarze roboczym. Usługa Databricks zaleca przyznawanie uprawnień grupom, a nie poszczególnym użytkownikom. Ułatwia to zarządzanie dostępem w miarę rozwoju zespołu.

Włącz odnajdywanie danych

Azure Databricks zaleca przyznanie uprawnień BROWSE we wszystkich katalogach do grupy All account users. BROWSE umożliwia użytkownikom sprawdzenie, że obiekty istnieją, oraz przeglądanie ich metadanych w Catalog Explorer bez przyznawania dostępu do danych źródłowych. Dzięki temu użytkownicy mogą odnajdywać dane i żądać dostępu bez konieczności udzielania uprawnień przez administratorów.

GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

Udzielanie dostępu do danych

Aby uzyskać dostęp do danych w Unity Catalog, użytkownicy zazwyczaj potrzebują konkretnego uprawnienia do wykonania danej operacji (takiego jak SELECT w celu odczytu tabeli) oraz odpowiednich uprawnień do użycia (takich jak USE CATALOG w katalogu nadrzędnym oraz USE SCHEMA w schemacie nadrzędnym). Zobacz pojęcia związane z modelem uprawnień Unity Catalog.

Przyznaj te uprawnienia tylko użytkownikom i grupom, którzy potrzebują dostępu do określonych katalogów i schematów. Aby na przykład udzielić dostępu tylko do odczytu schematowi, użyj następującego kodu SQL:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

W przypadku dostępu do odczytu i zapisu:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Wzorce dostępu zmieniają się w czasie. Użyj następujących stron jako materiału referencyjnego podczas zarządzania uprawnieniami w Unity Catalog:

Lista kontrolna instalacji

Jeśli wykonano wszystkie pięć kroków, Unity Catalog jest skonfigurowany w obszarze roboczym, a użytkownicy mogą zacząć pracę z danymi. Użyj następującej listy kontrolnej, aby potwierdzić, że wszystko jest w miejscu:

Następne kroki

Po skonfigurowaniu Unity Catalog możesz zacząć korzystać z bardziej zaawansowanych możliwości w zakresie nadzoru nad danymi w swoim obszarze roboczym.

Kontrola dostępu oparta na atrybutach

Kontrola dostępu oparta na atrybutach (ABAC) umożliwia definiowanie dynamicznych, precyzyjnych zasad dostępu na podstawie atrybutów danych i uzyskiwania do niego dostępu przez użytkownika. Zamiast zarządzać tabelą uprawnień według tabeli, piszesz zasady, które automatycznie wymuszają filtrowanie na poziomie wiersza i maskowanie na poziomie kolumny. Możesz na przykład ukryć poufne kolumny przed użytkownikami spoza określonego regionu lub zamaskować dane osobowe dla ról nieuprzywilejowanych.

Maskowanie kolumn ABAC w akcji

Klasyfikacja danych

Klasyfikacja danych używa agenta sztucznej inteligencji do automatycznego skanowania katalogu i tagowania poufnych danych, takich jak dane osobowe, informacje finansowe i poświadczenia. Po klasyfikacji tagi można bezpośrednio zintegrować z zasadami ABAC, co umożliwia stosowanie mechanizmów nadzoru na podstawie tego, co dane faktycznie zawierają, zamiast zarządzać dostępem osobno dla każdego obiektu.

Wyniki klasyfikacji danych

Monitorowanie jakości danych

Monitorowanie jakości danych zapewnia wykrywanie anomalii we wszystkich tabelach w schemacie i profilowaniu danych na poziomie tabeli. Wykrywanie anomalii automatycznie monitoruje świeżość i kompletność na podstawie historycznych wzorców danych, wykrywając problemy bez ręcznej konfiguracji. Profilowanie danych przechwytuje rozkłady statystyczne w czasie, umożliwiając śledzenie integralności danych i ustawianie alertów dotyczących nieoczekiwanych zmian.

Pulpit nawigacyjny monitorowania jakości danych

Zarządzanie AI z Unity AI Gateway

Unity AI Gateway rozszerza nadzór Unity Catalog na AI. Zapewnia nadzór na poziomie przedsiębiorstwa dla punktów końcowych LLM, agentów i serwerów MCP, umożliwiając wdrożenie kontroli dostępu, rejestrowania audytów i monitorowania we wszystkich interakcjach z AI w jednym, ujednoliconym interfejsie.

  • Last updated on