Nastavení cílového katalogu a schématu

Výchozí umístění pro datové zdroje v uživatelském rozhraní konfigurace pipeline nastaví výchozí katalog a schéma pro pipeline. Tento výchozí katalog a schéma se používají pro všechny definice datové sady a čtení tabulek, pokud není přepsáno v dotazu.

Poznámka:

Starší režim publikování používá LIVE virtuální schéma k dosažení podobného chování. Ve výchozím režimu publikování (používaném všemi novými kanály) se LIVE klíčové slovo ignoruje. Viz LIVE schema (starší verze).

Cílení datové sady v jiném katalogu nebo schématu

Kanály Lakeflow podporují sémantiku rozlišení třívrstvých identifikátorů. Databricks doporučuje používat plně kvalifikované identifikátory pro dotazy a příkazy, které cílí na jiné datové sady než výchozí hodnoty nakonfigurované pro váš kanál. Viz rozlišení identifikátoru katalogu Unity. Pokud například chcete vytvořit materializované zobrazení s názvem regional_sales v katalogu main a schématu stores, které nejsou výchozími možnostmi kanálu, plně kvalifikujte název například takto main.stores.regional_sales:

Python

from pyspark import pipelines as dp

@dp.materialized_view(name="main.stores.regional_sales")
def func():
  return spark.read.table("partners");

SQL

CREATE OR REPLACE MATERIALIZED VIEW main.stores.regional_sales
  AS SELECT *
  FROM partners;

Pipelines podporují příkazy SQL USE CATALOG catalog_name a USE SCHEMA schema_name. Spuštěním těchto příkazů nastavte aktuální katalog a schéma omezené na soubor nebo notebook obsahující tyto příkazy. Operace, které následují za těmito příkazy v souboru zdrojového kódu a používají nekvalifikované nebo částečně kvalifikované identifikátory, se přiřadí k aktuálnímu katalogu a schématu místo výchozích hodnot nastavených v konfiguraci zpracovatelské linky. Viz Co je aktuální katalog a schéma?.

Co se stane, když datová sada neexistuje?

Následující tabulka popisuje chování, když zdrojový kód kanálu odkazuje na datové sady, které neexistují:

Operation Outcome
Čti Pokud pro zadaný identifikátor neexistuje tabulka, materializované zobrazení, streamovaná tabulka nebo zobrazení, aktualizace se nezdaří.
Napiš Pokud pro zadaný identifikátor neexistuje materializované zobrazení, streamovaná tabulka, zobrazení nebo jímka, pokusí se aktualizace vytvořit datovou sadu. V případě potřeby aktualizace vytvoří také zadané schéma.

Důležité

Pokud nemáte dostatečná oprávnění k zobrazení datové sady, může se zobrazit chybová zpráva, že datová sada neexistuje.

Musíte mít dostatečná oprávnění ke čtení, zápisu a vytváření datových sad pomocí kanálů Lakeflow. Viz Požadavky.