Referenční informace o vlastnostech kanálu

Referenční informace o nastavení konfigurace JSON kanálu a vlastnostech tabulky v deklarativních kanálech Lakeflow Spark Další podrobnosti o používání těchto vlastností a konfigurací najdete v následujících článcích:

• Konfigurace potrubí
• Pipelines rozhraní REST API

Konfigurace kanálů

• id

  Typ: string

  Globálně jedinečný identifikátor pro tento kanál. Identifikátor je přiřazen systémem a nelze ho změnit.

• name

  Typ: string

  Uživatelsky přívětivý název tohoto kanálu. Název lze použít k identifikaci úloh kanálu v uživatelském rozhraní.

• configuration

  Typ: object

  Volitelný seznam nastavení pro přidání do konfigurace Sparku clusteru, který kanál spouští. Tato nastavení čte modul runtime deklarativních kanálů Sparku Lakeflow a jsou k dispozici pro dotazy kanálu prostřednictvím konfigurace Sparku.

  Prvky musí být formátované jako dvojice znaků key:value.

• parameters

  Typ: object

  Important

  Tato funkce je v beta verzi. Správci pracovního prostoru můžou řídit přístup k této funkci ze stránky Previews . Viz Manage Azure Databricks preview.

  Volitelná mapa párů klíč-hodnota, na které zdrojový kód kanálu může odkazovat pomocí pojmenované syntaxe parametru (například :source_catalog). Pomocí parametrů můžete opakovaně používat stejný zdrojový kód kanálu napříč prostředími nebo datovými sadami bez úprav zdroje.

  Klíče můžou obsahovat alfanumerické znaky, podtržítka (_), pomlčky (-) a tečky (.). Hodnoty jsou vždy řetězce.

  Tato výchozí nastavení můžete přepsat při spuštění aktualizace, úlohy kanálu v úloze nebo pomocí parametrů úlohy pushed-down. Na parametry kanálu lze odkazovat pouze ze zdrojového kódu SQL. Viz Použití parametrů v pipelinech.

• libraries

  Typ: array of objects

  Pole souborů kódu obsahujících kód kanálu a požadované artefakty.

• clusters

  Typ: array of objects

  Pole specifikací pro clustery ke spuštění kanálu.

  Pokud není zadaný, kanály automaticky vyberou výchozí konfiguraci clusteru pro kanál.

• development

  Typ: boolean

  Příznak označující, jestli se má kanál spustit v režimu development nebo v režimu production.

  Výchozí hodnota je false.

• notifications

  Typ: array of objects

  Volitelné pole specifikací pro e-mailová oznámení, pokud se aktualizace pipeline dokončí, selže s chybou, kterou lze opakovat, selže s chybou, kterou nelze opakovat, nebo pokud selže tok.

• continuous

  Typ: boolean

  Příznak udávající, zda má být pipeline provozována nepřetržitě.

  Výchozí hodnota je false.

• catalog

  Typ: string

  Název výchozího katalogu pro kanál, kde jsou publikovány všechny datové sady a metadata kanálu. Nastavením této hodnoty povolíte katalog Unity pro datový tok.

  Pokud není nastaveno, datový tok se publikuje do zastaralého metastore Hive pomocí umístění zadaného v storage.

  V režimu původního publikování určuje katalog obsahující cílové schéma, kde jsou publikovány všechny datové sady z aktuální pipeliny. Viz LIVE schema (starší verze).

• schema

  Typ: string

  Název výchozího schématu kanálu, kde jsou ve výchozím nastavení publikovány všechny datové sady a metadata kanálu. Viz Nastavení cílového katalogu a schématu.

• target (starší verze)

  Typ: string

  Název cílového schématu, ve kterém jsou publikovány všechny datové sady definované v aktuálním potrubí.

  Nastavení target místo schema nakonfiguruje kanál tak, aby používal starší režim publikování. Viz LIVE schema (starší verze).

• storage (starší verze)

  Typ: string

  Umístění v DBFS nebo cloudovém úložišti, kde se ukládají výstupní data a metadata požadovaná ke spuštění kanálu. Tabulky a metadata jsou uloženy v podadresářích tohoto umístění.

  Pokud není zadáno nastavení storage, systém nastaví výchozí umístění v dbfs:/pipelines/.

  Nastavení storage nelze po vytvoření pipeline změnit.

• channel

  Typ: string

  Verze modulu runtime deklarativních kanálů Sparku Lakeflow, která se má použít. Podporované hodnoty jsou:

  • preview otestovat řetězec s nadcházejícími změnami verze prostředí runtime.
  • current pro použití aktuální verze runtime.

  Pole channel je volitelné. Výchozí hodnota je current. Databricks doporučuje použít aktuální verzi modulu runtime pro produkční úlohy.

• edition

  Typ string

  Produktová edice deklarativních kanálů Sparku Lakeflow pro spuštění kanálu. Toto nastavení umožňuje zvolit nejlepší edici produktu na základě požadavků vašeho kanálu:

  • CORE pro spouštění úloh zpracování datového proudu.
  • PRO ke spouštění úloh pro ingestování streamování a zachytávání změn v datech (CDC).
  • ADVANCED ke spouštění úloh streamování ingestací, úloh CDC (Change Data Capture) a úloh, které vyžadují splnění očekávání za účelem vynucení omezení kvality dat.

  Pole edition je volitelné. Výchozí hodnota je ADVANCED.

• photon

  Typ: boolean

  Příznak označující, jestli se má kanál spustit pomocí funkce Co je Photon? Photon je vysoce výkonný modul Spark pro Azure Databricks. Kanály s podporou foton se účtují jinou sazbou než kanály bez foton.

  Pole photon je volitelné. Výchozí hodnota je false.

• pipelines.maxFlowRetryAttempts

  Typ: int

  Pokud během aktualizace kanálu dojde k opakovanému selhání, je to maximální počet opakování toku před selháním aktualizace kanálu.

  Použijte to k vázání opakování v jednom toku, který je náchylný k opakovaným selháním, aby nemohl zastavit celou aktualizaci.

  Výchozí nastavení: Dva pokusy o opakování. Pokud dojde k opakované chybě, modul runtime deklarativních kanálů Sparku pro Lakeflow se pokusí tok spustit třikrát, včetně původního pokusu.

• pipelines.numUpdateRetryAttempts

  Typ: int

  Pokud během aktualizace dojde k opakovanému selhání, je to maximální počet opakování aktualizace před trvalým selháním aktualizace. Opakování se spustí jako úplná aktualizace.

  Tuto možnost použijte k vázání opakovaných pokusů na celou aktualizaci, takže zablokovaná aktualizace se trvale nezdaří, a neopakuje se natrvalo.

  Tento parametr se vztahuje pouze na kanály, které používají chování automatického opakování a restartování. Opakování se nepokusí o jednorázové aktualizace spuštěné z editoru nebo při spuštění Validate aktualizace.

  Default:

  • Pět pro aktivované kanály.
  • Neomezené pro průběžné kanály.

Vlastnosti tabulky pipeline

Kromě vlastností tabulky podporovaných službou Delta Lake můžete nastavit následující vlastnosti tabulky.

• pipelines.autoOptimize.zOrderCols

  Žádné výchozí nastavení

  Volitelný řetězec obsahující čárkami oddělený seznam názvů sloupců, podle kterých se tato tabulka řadí. Například pipelines.autoOptimize.zOrderCols = "year,month"

  Databricks místo řazení Z doporučuje clustering kapalin pro optimalizaci rozložení dat v tabulkách kanálů. Pokud chcete databricks nechat automaticky vybírat a udržovat sloupce clusteringu, použijte CLUSTER BY AUTO (cluster_by_auto=Truev Python). Viz Použití metody 'liquid clustering' pro tabulky.

• pipelines.reset.allowed

  Výchozí: true

  Určuje, jestli je pro tuto tabulku povolená úplná aktualizace.

• pipelines.autoOptimize.managed

  Výchozí: true

  Povolí nebo zakáže automatickou plánovanou optimalizaci této tabulky.

  U kanálů spravovaných prediktivní optimalizací se tato vlastnost nepoužívá.

Interval spuštění potrubí

Můžete zadat interval spouštění pro celé potrubí nebo jako součást deklarace datové sady. Viz Nastavení intervalu triggeru pro průběžné kanály.

• pipelines.trigger.interval

  Výchozí hodnota je založená na typu toku:

  • Pět sekund na streamovací dotazy.
  • Minuta pro úplné dotazy, když jsou všechna vstupní data ze zdrojů Delta.
  • Deset minut na úplné dotazy, kdy některé zdroje dat mohou být nedelta.

  Hodnota je číslo plus časová jednotka. Toto jsou platné časové jednotky:

  • second, seconds
  • minute, minutes
  • hour, hours
  • day, days

  Při definování hodnoty můžete použít jednotné číslo nebo jednotku množného čísla, například:

  • {"pipelines.trigger.interval" : "1 hour"}
  • {"pipelines.trigger.interval" : "10 seconds"}
  • {"pipelines.trigger.interval" : "30 second"}
  • {"pipelines.trigger.interval" : "1 minute"}
  • {"pipelines.trigger.interval" : "10 minutes"}
  • {"pipelines.trigger.interval" : "10 minute"}

Atributy clusteru, které nejsou nastavené uživatelem

Vzhledem k tomu, že Deklarativní kanály Sparku Lakeflow (SDP) spravuje životní cyklus clusteru, mnoho nastavení clusteru je nastaveno systémem a uživatelé je nemůžou konfigurovat ručně, a to buď v konfiguraci kanálu, nebo v zásadách clusteru používaných kanálem. Následující tabulka uvádí tato nastavení a důvody, proč je nelze nastavit ručně.

• cluster_name

  SDP nastaví názvy clusterů používaných ke spouštění aktualizací kanálu. Tyto názvy nelze přepsat.

• data_security_mode

  access_mode

  Tyto hodnoty jsou automaticky nastaveny systémem.

• spark_version

  Clustery SDP běží na vlastní verzi databricks Runtime, která se průběžně aktualizuje tak, aby zahrnovala nejnovější funkce. Verze Sparku je součástí verze Databricks Runtime a nedá se přepsat.

• autotermination_minutes

  Vzhledem k tomu, že protokol SDP spravuje automatické ukončení clusteru a používá logiku opětovného použití, není možné přepsat čas automatického ukončení clusteru.

• runtime_engine

  I když toto pole můžete řídit povolením Funkce Photon pro kanál, nemůžete tuto hodnotu nastavit přímo.

• effective_spark_version

  Tato hodnota je automaticky nastavena systémem.

• cluster_source

  Toto pole je nastaveno systémem a je jen pro čtení.

• docker_image

  Vzhledem k tomu, že SDP spravuje životní cyklus clusteru, nemůžete použít vlastní kontejner s clustery kanálů.

• workload_type

  Tato hodnota je nastavena systémem a nelze ji přepsat.