Udostępnij przez

Zarejestruj bazę danych Lakebase w katalogu Unity Catalog

Ważne

Skalowanie automatyczne bazy danych Lakebase znajduje się w wersji beta w następujących regionach: eastus2, westeurope, westus.

Autoskalowanie bazy danych Lakebase to najnowsza wersja bazy danych Lakebase z automatycznym skalowaniem obliczeniowym, skalowaniem do zera, rozgałęzianiem i natychmiastowym przywracaniem. Aby zapoznać się z porównaniem funkcji z Lakebase Provisioned, sprawdź wybieranie między wersjami.

Zarejestrowanie bazy danych Lakebase w Unity Catalog powoduje utworzenie katalogu tylko do odczytu, który reprezentuje bazę danych Postgres, zapewniając ujednolicone zarządzanie danymi i analizę między źródłami w ramach obciążeń lakehouse i transakcyjnych.

Dlaczego warto zarejestrować się w Unity Catalog

Rejestracja zapewnia kilka korzyści:

Zunifikowane zarządzanie: Stosuj mechanizmy zarządzania katalogiem Unity — uprawnienia, śledzenie pochodzenia i dzienniki inspekcji — do danych Lakebase oraz danych lakehouse.

Zapytania między źródłami: wykonywanie zapytań zarówno w tabelach Unity Catalog, jak i bazach danych Lakebase z jednego interfejsu SQL, co umożliwia analizę danych łączącą informacje transakcyjne i analityczne.

Scentralizowane odnajdywanie: przeglądaj i odnajduj bazy danych Lakebase, schematy i tabele za pomocą Eksploratora wykazu wraz z innymi źródłami danych w obszarze roboczym.

Zintegrowane przepływy pracy: używaj danych usługi Lakebase na pulpitach nawigacyjnych i aplikacjach usługi Databricks bez przełączania kontekstów ani zarządzania oddzielnymi połączeniami.

Jak to działa

Rejestracja tworzy katalog Unity Catalog tylko do odczytu, który odzwierciedla strukturę bazy danych Postgres, zapewniając dostęp do metadanych obiektów bazy danych (schematów, tabel, widoków) za pośrednictwem warstwy nadzoru Unity Catalog.

Zainicjuj rejestrację z Eksploratora Katalogu zamiast z interfejsu Lakebase, który integruje się naturalnie z przepływem pracy tworzenia katalogu w Unity Catalog.

Po rejestracji:

  • Baza danych Lakebase pojawia się jako katalog w Unity Catalog
  • Uprawnienia Unity Catalog kontrolują, kto może wyświetlać i wykonywać zapytania w bazie danych.
  • Wykaz pozostaje tylko do odczytu — zarządzasz rzeczywistą bazą danych za pośrednictwem usługi Lakebase

Wymagania wstępne

  • Istniejący projekt usługi Lakebase z co najmniej jedną bazą danych
  • CREATE CATALOG uprawnienia w metasklepie katalogu Unity
  • Bezserwerowa usługa SQL Warehouse do wykonywania zapytań względem zarejestrowanego wykazu

Rejestrowanie bazy danych

Aby zarejestrować bazę danych Lakebase w Unity Catalog:

  1. Użyj przełącznika aplikacji, aby przejść do Lakehouse.
  2. W Eksploratorze wykazu kliknij ikonę znaku plus i utwórz wykaz.
  3. Wprowadź nazwę katalogu (na przykład lakebase_catalog).
  4. Wybierz pozycję Lakebase Postgres jako typ wykazu, a następnie wybierz opcję Skalowanie automatyczne .
  5. Wybierz projekt, gałąź i bazę danych Postgres.
  6. Kliknij pozycję Utwórz.

Rejestracja bazy danych LKB w katalogu Unity

Wykaz jest wyświetlany w Eksploratorze wykazu, w którym można przeglądać schematy, tabele i widoki oraz wykonywać zapytania dotyczące ich przy użyciu magazynów SQL.

Eksplorowanie zarejestrowanych baz danych

Po rejestracji przejdź do katalogu w Eksploratorze wykazu, aby przeglądać schematy, tabele i widoki. Kliknij dowolną tabelę, aby wyświetlić szczegóły schematu, przykładowe dane i informacje o pochodzenia.

Unity Catalog automatycznie synchronizuje metadane z bazy danych Lakebase. Po dodaniu lub zmodyfikowaniu tabel w usłudze Lakebase odśwież widok wykazu, aby wyświetlić aktualizacje.

Wykonywanie zapytań względem zarejestrowanych baz danych

Wykonywanie zapytań względem zarejestrowanych baz danych Lakebase przy użyciu magazynu SQL lub dowolnego narzędzia łączącego się z Katalogiem Unity:

-- Query a registered :re[LKB] database
SELECT * FROM chatbot_catalog.public.conversations
WHERE created_at >= current_date - INTERVAL 7 DAYS;

-- Join :re[LKB] and lakehouse data
SELECT
  c.conversation_id,
  c.user_id,
  c.agent_response,
  u.user_name,
  u.subscription_tier
FROM chatbot_catalog.public.conversations c
JOIN main.user_analytics.users u
  ON c.user_id = u.user_id;

Katalog tylko do odczytu zapewnia, że zapytania nie modyfikują twojej bazy danych Lakebase poprzez Unity Catalog. Aby zmodyfikować dane, użyj edytora SQL lakebase lub połącz się bezpośrednio z bazą danych.

Uprawnienia i kontrola dostępu (Zarządzanie dostępem i tożsamościami)

Uprawnienia Unity Catalog kontrolują dostęp do zarejestrowanych baz danych Lakebase.

  • Własność katalogu: użytkownik, który rejestruje bazę danych, staje się właścicielem wykazu
  • Dostęp do odczytu: Udzielanie USE CATALOG uprawnień i SELECT zezwalanie innym osobom na wykonywanie zapytań dotyczących bazy danych
  • Administrator magazynu metadanych: administratorzy magazynu metadanych mogą zarządzać wszystkimi zarejestrowanymi wykazami

Aby udzielić dostępu do zarejestrowanej bazy danych:

-- Grant read access to a group
GRANT USE CATALOG ON CATALOG chatbot_catalog TO `ai-engineering`;
GRANT SELECT ON CATALOG chatbot_catalog TO `ai-engineering`;

Uprawnienia ustawione w Unity Catalog regulują dostęp do zapytań SQL poprzez magazyny. Bezpośrednie połączenia z bazą danych Lakebase używają ról i uprawnień Postgres niezależnie.

Wyrejestrowywanie bazy danych

Aby wyrejestrować bazę danych Lakebase z Unity Catalog, wybierz katalog w Eksploratorze Katalogu, kliknij ikonę z trzema kropkami i wybierz pozycję Usuń.

Usunięcie katalogu powoduje usunięcie go z katalogu Unity, ale nie ma wpływu na bazę danych Lakebase. Baza danych pozostaje dostępna za pośrednictwem usługi Lakebase i bezpośrednich połączeń Postgres.

Uwaga / Notatka

Jeśli utworzono zsynchronizowane tabele z zarejestrowanej bazy danych, najpierw usuń te tabele. Każdą tabelę źródłową można użyć tylko do utworzenia 20 zsynchronizowanych tabel, a liczba oczekujących na usunięcie tabel synchronizacji zbliża się do tego limitu.

Ograniczenia

Dostęp tylko do odczytu: wykazy zarejestrowane w bazach danych Lakebase są tylko do odczytu. Nie można modyfikować danych za pomocą zapytań Unity Catalog.

Pojedyncza baza danych na katalog: każdy katalog Unity Catalog reprezentuje jedną bazę danych Lakebase. Aby uwidocznić wiele baz danych, zarejestruj je osobno.

Synchronizacja metadanych: usługa Unity Catalog buforuje metadane w celu zmniejszenia liczby żądań Postgres. Nowe obiekty mogą nie pojawiać się natychmiast. Kliknij pozycję Odśwież ikonę schematu , aby wyzwolić pełne odświeżanie.

Izolacja gałęzi: wykazy rejestrują bazy danych z określonych gałęzi. Aby uzyskać dostęp do danych z wielu gałęzi, zarejestruj bazę danych z każdej gałęzi jako oddzielny wykaz.

Dalsze kroki

  • Last updated on