Adatok közzététele Delta Live-táblákból a Hive-metaadattárba

A folyamat kimeneti adatait felderíthetővé és lekérdezhetővé teheti, ha adathalmazokat tesz közzé a Hive metaadattárban. Ha adatkészleteket szeretne közzétenni a metaadattárban, adjon meg egy sémanevet a Cél mezőben, amikor létrehoz egy folyamatot. Céladatbázist is hozzáadhat egy meglévő folyamathoz.

Alapértelmezés szerint a Delta Live Tablesben létrehozott összes tábla és nézet helyi a folyamathoz. A táblákat közzé kell tennie egy célsémában a Delta Live Tables adatkészleteinek lekérdezéséhez vagy használatához azon a folyamaton kívül, amelyben deklarálva vannak.

A csővezetékek táblázatainak a Unity Catalogban való közzétételéhez lásd: Use Unity Catalog with your Delta Live Tables pipelines.

Delta Live Tables-adathalmazok közzététele sémában

A Delta Live Tables-folyamat összes táblájához deklarálhat célsémát a Folyamat beállításai és a Folyamat felhasználói felületének Célséma mezőjével.

A JSON-konfigurációban is megadhat sémát az target érték beállításával.

A célséma eredményeinek közzétételéhez futtatnia kell egy frissítést a folyamathoz.

Ezt a funkciót több környezeti konfigurációval is használhatja a környezet alapján különböző sémákban való közzétételhez. Közzétehet például egy dev fejlesztési sémát és egy prod éles adatok sémáját.

Adathalmazok lekérdezése Delta Live-táblákban

A frissítés befejezése után megtekintheti a sémát és a táblákat, lekérdezheti az adatokat, vagy használhatja az adatokat az alárendelt alkalmazásokban.

A közzétételt követően a Delta Live Tables-táblák bármely olyan környezetből lekérdezhetők, amely hozzáféréssel rendelkezik a célsémához. Ez magában foglalja a Databricks SQL-t, a jegyzetfüzeteket és más Delta Live Tables-folyamatokat.

Fontos

Konfiguráció létrehozásakor target csak a táblák és a kapcsolódó metaadatok lesznek közzétéve. A nézetek nem jelennek meg a metaadattárban.

Táblák kizárása a célséma közül

Ha olyan köztes táblákat kell kiszámítania, amelyek nem külső használatra készültek, megakadályozhatja, hogy a kulcsszavak használatával közzétehesse őket egy TEMPORARY sémában. Az ideiglenes táblák továbbra is a Delta Live Tables szemantikája szerint tárolják és dolgozzák fel az adatokat, de nem érhetők el az aktuális folyamaton kívül. Az ideiglenes tábla az azt létrehozó folyamat teljes élettartama alatt megmarad. Ideiglenes táblák deklarálásához használja az alábbi szintaxist:

SQL

CREATE TEMPORARY MATERIALIZED VIEW temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")