Wprowadzenie do bazy danych Lakebase Postgres

Ważne

Skalowanie automatyczne bazy danych Lakebase znajduje się w wersji beta w następujących regionach: eastus2, westeurope, westus.

Autoskalowanie bazy danych Lakebase to najnowsza wersja bazy danych Lakebase z automatycznym skalowaniem obliczeniowym, skalowaniem do zera, rozgałęzianiem i natychmiastowym przywracaniem. Aby zapoznać się z porównaniem funkcji z Lakebase Provisioned, sprawdź wybieranie między wersjami.

Rozpocznij pracę z usługą Lakebase Postgres w ciągu kilku minut. Utwórz swój pierwszy projekt, połącz się z bazą danych i poznaj kluczowe funkcje, w tym integrację z Unity Catalog.

Tworzenie pierwszego projektu

Otwórz aplikację Lakebase z przełącznika aplikacji.

Wybierz pozycję Autoskalowanie , aby uzyskać dostęp do interfejsu użytkownika skalowania automatycznego usługi Lakebase.

Kliknij pozycję Nowy projekt. Nadaj projektowi nazwę i wybierz wersję bazy danych Postgres. Projekt jest tworzony przy użyciu jednej production gałęzi, domyślnej databricks_postgres bazy danych i zasobów obliczeniowych skonfigurowanych dla gałęzi.

Aktywowanie twojego komputera może potrwać kilka momentów. Obliczenia obliczeniowe dla production gałęzi są domyślnie zawsze włączone (skalowanie do zera jest domyślnie wyłączone), ale w razie potrzeby można skonfigurować to ustawienie.

Region projektu jest automatycznie ustawiany na region obszaru roboczego. Aby uzyskać szczegółowe opcje konfiguracji, zobacz Tworzenie projektu.

Nawiązywanie połączenia z bazą danych

W projekcie wybierz gałąź produkcyjną , a następnie kliknij pozycję Połącz. Możesz nawiązać połączenie, korzystając z tożsamości Databricks z uwierzytelnianiem OAuth lub utworzyć natywną rolę użytkownika z hasłem Postgres. Parametry połączenia działają ze standardowymi klientami Postgres, takimi jak psql, pgAdmin lub dowolne narzędzie zgodne z bazą danych Postgres.

Podczas tworzenia projektu rola Postgres dla tożsamości Databricks (na przykład user@databricks.com) zostanie utworzona automatycznie. Ta rola jest właścicielem domyślnej databricks_postgres bazy danych i jest członkiem databricks_superuserprogramu , zapewniając jej szerokie uprawnienia do zarządzania obiektami bazy danych.

Aby nawiązać połączenie przy użyciu tożsamości usługi Databricks za pomocą protokołu OAuth, skopiuj psql fragment kodu połączenia z okna dialogowego połączenia.

psql 'postgresql://your-email@databricks.com@ep-abc-123.databricks.com/databricks_postgres?sslmode=require'

Po wprowadzeniu polecenia połączenia w terminalu psql zostanie wyświetlony monit o podanie tokenu OAuth. Pobierz token, klikając opcję Kopiuj token OAuth w oknie dialogowym połączenia.

Aby uzyskać szczegółowe informacje o połączeniu i opcje uwierzytelniania, zobacz Szybki start.

Tworzenie pierwszej tabeli

Edytor SQL usługi Lakebase jest wstępnie ładowany przy użyciu przykładowego kodu SQL, aby ułatwić rozpoczęcie pracy. W projekcie wybierz gałąź produkcyjną , otwórz edytor SQL i uruchom podane instrukcje, aby utworzyć tabelę playing_with_lakebase i wstawić przykładowe dane. Edytor tabel umożliwia również zarządzanie danymi wizualnymi lub nawiązywanie połączenia z zewnętrznymi klientami Postgres.

Dowiedz się więcej o opcjach wykonywania zapytań:Edytor SQL | Edytor Tabel | Klienci Postgres

Rejestracja w Unity Catalog

Po utworzeniu tabeli w gałęzi produkcyjnej zarejestruj bazę danych w Unity Catalog, aby móc zapytywać o te dane za pomocą edytora SQL w Databricks.

1. Użyj przełącznika aplikacji, aby przejść do Lakehouse.
2. W Eksploratorze wykazu kliknij ikonę znaku plus i utwórz wykaz.
3. Wprowadź nazwę katalogu (na przykład lakebase_catalog).
4. Wybierz pozycję Lakebase Postgres jako typ wykazu i włącz opcję Skalowanie automatyczne .
5. Wybierz projekt, production gałąź i databricks_postgres bazę danych.
6. Kliknij pozycję Utwórz.

Teraz możesz wykonać zapytanie dotyczące tabeli, którą właśnie utworzyłeś, w edytorze SQL usługi Databricks przy użyciu SQL Warehouse.

SELECT * FROM lakebase_catalog.public.playing_with_lakebase;

Umożliwia to tworzenie zapytań federacyjnych, które łączą dane transakcyjne usługi Lakebase z analizą lakehouse. Aby uzyskać szczegółowe informacje, zobacz Rejestrowanie w katalogu Unity.

Synchronizowanie danych za pomocą funkcji REVERSE ETL

Właśnie zobaczyłeś, jak umożliwić wykonywanie zapytań dotyczących danych Lakebase w katalogu Unity. Usługa Lakebase działa również w odwrotnym kierunku: sprowadzenie wyselekcjonowanych danych analitycznych z Unity Catalog do bazy danych Lakebase. Jest to przydatne w przypadku wzbogaconych danych, funkcji uczenia maszynowego lub zagregowanych metryk obliczanych w usłudze Lakehouse, które muszą być obsługiwane przez aplikacje z zapytaniami transakcyjnymi o małych opóźnieniach.

Najpierw utwórz tabelę w katalogu Unity, która reprezentuje dane analityczne. Otwórz magazyn SQL lub notes i uruchom.

CREATE TABLE main.default.user_segments AS
SELECT * FROM VALUES
  (1001, 'premium', 2500.00, 'high'),
  (1002, 'standard', 450.00, 'medium'),
  (1003, 'premium', 3200.00, 'high'),
  (1004, 'basic', 120.00, 'low')
AS segments(user_id, tier, lifetime_value, engagement);

Teraz zsynchronizuj tę tabelę z bazą danych Lakebase:

1. W Eksploratorze katalogu Lakehouse przejdź do main>default>user_segments.
2. Kliknij pozycję Utwórz>zsynchronizowaną tabelę.
3. Konfigurowanie synchronizacji:
   • Nazwa tabeli: wprowadź .user_segments_synced
   • Typ bazy danych: wybierz pozycję Bezserwerowa baza danych Lakebase (skalowanie automatyczne).
   • Tryb synchronizacji: wybierz Migawka dla jednorazowej synchronizacji danych.
   • Wybierz projekt, gałąź produkcyjnądatabricks_postgres i bazę danych.
4. Kliknij pozycję Utwórz.

Po zakończeniu synchronizacji tabela zostanie wyświetlona w bazie danych Lakebase. Proces synchronizacji tworzy schemat default w Postgres, aby był zgodny ze schematem Unity Catalog, więc main.default.user_segments_synced staje się default.user_segments_synced. Wróć do usługi Lakebase przy użyciu przełącznika aplikacji i wykonaj zapytanie w edytorze SQL usługi Lakebase:

SELECT * FROM "default"."user_segments_synced" WHERE "engagement" = 'high';

Analizy typu "lakehouse" są teraz dostępne do serwowania w czasie rzeczywistym w transakcyjnej bazie danych. Aby uzyskać informacje na temat ciągłej synchronizacji, zaawansowanych konfiguracji i mapowań typów danych, zobacz Reverse ETL (Odwrotne etL).

Dalsze kroki

Tutorials

• Samouczek dotyczący programowania opartego na gałęziach

Connect

• Nawiązywanie połączenia z bazą danych
• Klienci postgres

Kluczowe funkcje

• Dowiedz się więcej o gałęziach
• Konfigurowanie skalowania automatycznego
• Konfigurowanie skalowania do zera

Dowiedz się więcej

• Omówienie projektów