Gegevens uit Delta Live Tables publiceren naar de Hive-metastore

U kunt de uitvoergegevens van uw pijplijn detecteerbaar en beschikbaar maken om query's uit te voeren door gegevenssets te publiceren naar de Hive-metastore. Als u gegevenssets naar de metastore wilt publiceren, voert u een schemanaam in het veld Doel in wanneer u een pijplijn maakt. U kunt ook een doeldatabase toevoegen aan een bestaande pijplijn.

Standaard zijn alle tabellen en weergaven die zijn gemaakt in Delta Live Tables lokaal voor de pijplijn. U moet tabellen publiceren naar een doelschema om gegevenssets van Delta Live Tables op te vragen of te gebruiken buiten de pijplijn waarin ze worden gedeclareerd.

Als u tabellen uit uw pijplijnen naar Unity Catalog wilt publiceren, raadpleegt u Unity Catalog gebruiken met uw Delta Live Tables-pijplijnen.

Delta Live Tables-gegevenssets publiceren naar een schema

U kunt een doelschema declareren voor alle tabellen in uw Delta Live Tables-pijplijn met behulp van het schemaveld Doel in de pijplijninstellingen en pijplijn-UIS's maken.

U kunt ook een schema opgeven in een JSON-configuratie door de waarde in te target stellen.

U moet een update uitvoeren voor de pijplijn om resultaten naar het doelschema te publiceren.

U kunt deze functie gebruiken met meerdere omgevingsconfiguraties om te publiceren naar verschillende schema's op basis van de omgeving. U kunt bijvoorbeeld publiceren naar een dev schema voor ontwikkeling en een prod schema voor productiegegevens.

Query's uitvoeren op gegevenssets in Delta Live Tables

Nadat een update is voltooid, kunt u het schema en de tabellen bekijken, de gegevens opvragen of de gegevens gebruiken in downstreamtoepassingen.

Zodra ze zijn gepubliceerd, kunnen tabellen in Delta Live Tables vanuit elke omgeving worden opgevraagd met toegang tot het doelschema. Dit omvat Databricks SQL, notebooks en andere Delta Live Tables-pijplijnen.

Belangrijk

Wanneer u een target configuratie maakt, worden alleen tabellen en gekoppelde metagegevens gepubliceerd. Weergaven worden niet gepubliceerd naar de metastore.

Tabellen uitsluiten van doelschema

Als u tussenliggende tabellen wilt berekenen die niet zijn bedoeld voor extern verbruik, kunt u voorkomen dat ze worden gepubliceerd naar een schema met behulp van het TEMPORARY trefwoord. Tijdelijke tabellen slaan gegevens nog steeds op volgens de semantiek van Delta Live Tables, maar mogen niet worden geopend buiten de huidige pijplijn. Een tijdelijke tabel blijft behouden voor de levensduur van de pijplijn waarmee deze wordt gemaakt. Gebruik de volgende syntaxis om tijdelijke tabellen te declareren:

SQL

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")