Veröffentlichen von Daten aus Delta Live Tables-Pipelines im Hive-Metastore

Sie können die Ausgabedaten Ihrer Pipeline auffindbar und für Abfragen verfügbar machen, indem Sie Datasets im Hive-Metastore veröffentlichen. Geben Sie beim Erstellen einer Pipeline im Feld Ziel einen Schemanamen ein, um Datasets im Metastore zu veröffentlichen. Sie können einer vorhandenen Pipeline auch eine Zieldatenbank hinzufügen.

Standardmäßig sind alle in Delta Live Tables erstellten Tabellen und Ansichten für die Pipeline lokal. Sie müssen Tabellen in einem Zielschema veröffentlichen, um Delta Live Tables-Datasets außerhalb der Pipeline abzufragen oder zu verwenden, in der sie deklariert werden.

Um Tabellen aus Ihren Pipelines im Unity-Katalog zu veröffentlichen, siehe Verwenden Sie Unity-Katalog mit Ihren Delta Live Tables-Pipelines.

Veröffentlichen von Delta Live Tables-Datasets in einem Schema

Sie können ein Zielschema für alle Tabellen in Ihrer Delta Live Tables-Pipeline deklarieren, indem Sie das Feld Zielschema auf den Benutzeroberflächen für Pipelineeinstellungen und zum Erstellen von Pipelines verwenden.

Sie können auch ein Schema in einer JSON-Konfiguration angeben, indem Sie den Wert target festlegen.

Sie müssen ein Update für die Pipeline ausführen, um Ergebnisse im Zielschema zu veröffentlichen.

Sie können dieses Feature mit mehreren Umgebungskonfigurationen verwenden, um basierend auf der Umgebung in verschiedenen Schemas zu veröffentlichen. Sie können beispielsweise ein dev-Schema für Entwicklungsdaten und ein prod-Schema für Produktionsdaten veröffentlichen.

Abfragen von Datasets in Delta Live Tables

Nach Abschluss eines Updates können Sie das Schema und Tabellen anzeigen, Daten abfragen oder Daten in Downstreamanwendungen verwenden.

Nach der Veröffentlichung können Delta Live Tables-Tabellen aus einer beliebigen Umgebung mit Zugriff auf das Zielschema abgefragt werden. Dazu gehören Databricks SQL, Notebooks und andere Delta Live Tables-Pipelines.

Wichtig

Wenn Sie eine target-Konfiguration erstellen, werden nur Tabellen und zugeordnete Metadaten veröffentlicht. Ansichten werden nicht im Metastore veröffentlicht.

Ausschließen von Tabellen aus dem Zielschema

Wenn Sie Zwischentabellen berechnen müssen, die nicht für den externen Verbrauch vorgesehen sind, können Sie mithilfe des Schlüsselworts TEMPORARY verhindern, dass sie in einem Schema veröffentlicht werden. Temporäre Tabellen speichern und verarbeiten Daten weiterhin entsprechend der Delta Live Tables-Semantik, auf sie sollte jedoch nicht von außerhalb der aktuellen Pipeline zugegriffen werden. Eine temporäre Tabelle wird für die Lebensdauer der Pipeline beibehalten, die sie erstellt. Verwenden Sie die folgende Syntax, um temporäre Tabellen zu deklarieren:

SQL

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")