Festlegen des Zielkatalogs und des Schemas

Der Standardstandort für Datenressourcen im UI der Pipelinekonfiguration legt den Standard-Katalog und das Schema für eine Pipeline fest. Dieser Standardkatalog und dieses Schema werden für alle Datasetdefinitionen und Tabellenlesevorgänge verwendet, es sei denn, sie werden innerhalb der Abfrage außer Kraft gesetzt.

Hinweis

Im Legacyveröffentlichungsmodus wird das virtuelle LIVE Schema verwendet, um ein ähnliches Verhalten zu erzielen. Im Standardveröffentlichungsmodus (verwendet von allen neuen Pipelines) wird das schlüsselwort LIVE ignoriert. Weitere Informationen finden Sie unter LIVE-Schema (Legacy).

Ein Ziel-Dataset in einem anderen Katalog oder Schema auswählen

Lakeflow Spark Declarative Pipelines unterstützt die Semantik der dreistufigen Bezeichnerauflösung. Databricks empfiehlt die Verwendung vollqualifizierter Bezeichner für Abfragen und Anweisungen, die auf andere Datasets als auf die in Ihrer Pipeline konfigurierten Standard-Datasets abzielen. Weitere Informationen finden Sie unter Auflösung des Unity Catalog-Bezeichners. Um beispielsweise eine materialisierte Ansicht zu erstellen, die im Katalog regional_sales und im Schema main unter stores erstellt werden soll, die nicht den Pipelinestandardwerten entsprechen, müssen Sie den Namen vollständig qualifizieren als main.stores.regional_sales.

Python

from pyspark import pipelines as dp

@dp.materialized_view(name="main.stores.regional_sales")
def func():
  return spark.read.table("partners");

SQL

CREATE OR REPLACE MATERIALIZED VIEW main.stores.regional_sales
  AS SELECT *
  FROM partners;

Pipelimes unterstützen die SQL-Befehle USE CATALOG catalog_name und USE SCHEMA schema_name. Führen Sie diese Befehle aus, um den aktuellen Katalog und das Schema auf die Datei oder das Notizbuch einzuschränken, die die Befehle enthalten. Vorgänge, die diesen Befehlen in der Quellcodedatei folgen und nicht qualifizierte oder teilweise qualifizierte Bezeichner verwenden, werden in den aktuellen Katalog und das aktuelle Schema aufgelöst, anstatt in die in der Pipelinekonfiguration festgelegten Standardwerte. Weitere Informationen finden Sie unter Was ist der aktuelle Katalog und das aktuelle Schema?.

Was geschieht, wenn kein Dataset vorhanden ist?

In der folgenden Tabelle wird das Verhalten beschrieben, wenn der Pipelinequellcode auf Datasets verweist, die nicht vorhanden sind:

Operation	Ergebnis
Lesen Sie	Wenn eine Tabelle, eine materialisierte Ansicht, eine Streamingtabelle oder eine Ansicht für den angegebenen Bezeichner nicht vorhanden ist, schlägt die Aktualisierung fehl.
Schreiben	Wenn für den angegebenen Bezeichner keine materialisierte Sicht, Streamingtabelle, Sicht oder Senke vorhanden ist, wird bei der Aktualisierung versucht, das Dataset zu erstellen. Bei Bedarf erstellt das Update auch das angegebene Schema.

Von Bedeutung

Möglicherweise wird eine Fehlermeldung angezeigt, die besagt, dass ein Dataset nicht vorhanden ist, wenn Sie nicht über ausreichende Berechtigungen zum Anzeigen des Datasets verfügen.

Sie müssen über ausreichende Berechtigungen zum Lesen, Schreiben und Erstellen von Datasets mit Lakeflow Spark Declarative Pipelines verfügen. Siehe Anforderungen.