Poskytování dat lakehouse

Synchronizujte tabulku katalogu Unity do Postgresu a dotazujte se na ni společně s provozními daty.

Kroky: (1) Vytvoření analýzy dat → (2) Synchronizace s Lakebase → (3) Vyhledání dat v Postgres → (4) Dotazování na oba světy

Note

Toto je rychlý start. Kompletní dokumentaci najdete v tématu Synchronizace tabulek.

Než začnete

  • Ujistěte se, že jste absolvovali krok Získání databáze Postgres. Potřebujete projekt Lakebase s ukázkovými daty.
  • Sql Warehouse nebo poznámkový blok pro dotazy v katalogu Unity
  • USE_SCHEMA a CREATE_TABLE ve schématu, kde vytvoříte synchronizovanou tabulku.

Krok 1: Vytvoření analytických dat v katalogu Unity

Představte si, že váš datový tým v lakehouse vytvořil skóre segmentace uživatelů. V produkčním prostředí se jedná o zlatou tabulku, výstup ML nebo rozšířenou datovou sadu. Pro tuto příručku vytvořte malou ukázku.

V SQL Warehouse nebo poznámkovém bloku spusťte:

CREATE TABLE main.default.user_segments AS
SELECT * FROM VALUES
  (1, 'power_user', 0.92),
  (2, 'casual', 0.35),
  (3, 'power_user', 0.88)
AS segments(user_id, segment, engagement_score);

Všimněte si, že user_id hodnoty odpovídají sloupci id v playing_with_lakebase tabulce od začátku. To je úmyslné. Připojíte se k nim v kroku 4.

Další informace: Podporované typy zdrojů

Krok 2: Synchronizace tabulky s Lakebase

V pracovním prostoru Azure Databricks přejděte do katalogu na bočním panelu. user_segments Výběrem tabulky otevřete stránku s podrobnostmi a potom klikněte na Vytvořit>synchronizovanou tabulku.

V dialogovém okně Vytvořit synchronizovanou tabulku zvolte databázi projektu databricks_postgres Lakebase jako cíl a snímek jako režim synchronizace. Snímek zkopíruje data jednorázově, což je nejjednodušší možnost pro začátek.

Synchronizace se spustí automaticky. Po dokončení se v databázi Lakebase zobrazí nová tabulka jen pro čtení. Název schématu z katalogu Unity se změní na název schématu Postgres a název tabulky získá příponu _synced : default.user_segments_synced.

Další informace: Vytvoření synchronizované tabulky (úplná procedura) | Režimy synchronizace

Krok 3: Vyhledání dat v Postgresu

Přepněte do editoru SQL Lakebase. Analytická data z katalogu Unity se teď dají dotazovat pomocí standardního Postgres SQL. Vyhledejte uživatele 1:

SELECT * FROM "default".user_segments_synced WHERE user_id = 1;

Note

default musí být citováno, protože se jedná o vyhrazené klíčové slovo PostgreSQL. Schéma synchronizované tabulky dědí název schématu katalogu Unity, takže pokud je vaše schéma pojmenované default, musíte ho vždy uvozovat v dotazech.

Měli byste vidět uživatele 1 se segmentem power_user a skóre zapojení 0.92. Jedná se o stejný řádek, který jste vytvořili v katalogu Unity, který je teď k dispozici v Postgresu s nízkou latencí čtení.

Další informace: Mapování datových typů

Krok 4: Dotazování napříč oběma světy

Tady je výplata. Tabulka playing_with_lakebase obsahuje provozní data. Vaše user_segments_synced tabulka podporuje analytiku lakehouse. Připojte se k nim:

SELECT
  p.id,
  p.name,
  p.value,
  s.segment,
  s.engagement_score
FROM playing_with_lakebase p
JOIN "default".user_segments_synced s ON p.id = s.user_id;

Vaše aplikace teď může obsluhovat rozšířená data. Jeden dotaz Postgres kombinuje to, co aplikace zná (názvy, hodnoty) s tím, co lakehouse vypočítá (segmenty, skóre). Žádná volání rozhraní API v lakehouse, žádné synchronizační skripty, žádná penalizace latencí.

Další informace: Plánování kapacity

Další kroky

  • Last updated on