Delta Live Tables tulajdonságainak referenciája

Ez a cikk a Delta Live Tables JSON beállítási specifikációját és a táblatulajdonságokat ismerteti az Azure Databricksben. A különböző tulajdonságok és konfigurációk használatáról az alábbi cikkekben olvashat bővebben:

• Delta Live Tables-folyamat konfigurálása
• Folyamatok REST API

Delta Live Tables-folyamatkonfigurációk

Mezők
id Típus: string A folyamat globálisan egyedi azonosítója. Az azonosítót a rendszer rendeli hozzá, és nem módosítható.
name Típus: string A folyamat felhasználóbarát neve. A név a folyamatfeladatok azonosítására használható a felhasználói felületen.
storage Típus: string Egy hely a DBFS-en vagy a felhőbeli tárolóban, ahol a folyamat végrehajtásához szükséges kimeneti adatok és metaadatok tárolódnak. A táblák és metaadatok a hely alkönyvtáraiban vannak tárolva. Ha a storage beállítás nincs megadva, a rendszer alapértelmezés szerint a következő dbfs:/pipelines/helyre kerül: . A storage beállítás nem módosítható a folyamat létrehozása után.
configuration Típus: object A folyamatot futtató fürt Spark-konfigurációjához hozzáadandó beállítások választható listája. Ezeket a beállításokat a Delta Live Tables futtatókörnyezet olvassa be, és a Spark-konfiguráción keresztül futtathatja a lekérdezéseket. Az elemeket párként key:value kell formázni.
libraries Típus: array of objects A folyamatkódot és a szükséges összetevőket tartalmazó jegyzetfüzetek tömbje.
clusters Típus: array of objects A folyamat futtatásához szükséges fürtök specifikációinak tömbje. Ha ez nincs megadva, a folyamatok automatikusan kiválasztják a folyamat alapértelmezett fürtkonfigurációját.
development Típus: boolean Egy jelző, amely jelzi, hogy a folyamatot a következő helyen kell futtatni: development vagy production módba. Az alapértelmezett érték a következő: true
notifications Típus: array of objects A folyamatfrissítés befejeződésekor, újrapróbálkozással, nem újrapróbálkozással vagy egy folyamat meghiúsulásakor az e-mail-értesítések opcionális specifikációinak tömbje.
continuous Típus: boolean A folyamat folyamatos futtatását jelző jelző. Az alapértelmezett érték false.
target Típus: string A folyamat kimeneti adatainak megőrzésére szolgáló adatbázis neve. A beállítás konfigurálásával target megtekintheti és lekérdezheti a folyamat kimeneti adatait az Azure Databricks felhasználói felületéről.
channel Típus: string A használni kívánt Delta Live Tables-futtatókörnyezet verziója. A támogatott értékek a következők: - preview a folyamat teszteléséhez a futtatókörnyezet verziójának közelgő módosításaival. - current az aktuális futtatókörnyezeti verzió használatához. A channel mező kitöltése nem kötelező. Az alapértelmezett érték a következő: current. A Databricks az aktuális futtatókörnyezeti verzió használatát javasolja éles számítási feladatokhoz.
edition Írja be a következőt: string A Folyamat futtatásához a Delta Live Tables termékkiadása. Ezzel a beállítással a folyamat követelményei alapján kiválaszthatja a legjobb termékkiadást: - CORE streamelési betöltési számítási feladatok futtatásához. - PRO streamelési betöltési és adatrögzítési (CDC-) számítási feladatok futtatásához. - ADVANCED streamelési betöltési számítási feladatok, CDC-számítási feladatok és olyan számítási feladatok futtatásához, amelyekhez Delta Live Tables-elvárások szükségesek az adatminőségi korlátozások kikényszerítéséhez. A edition mező kitöltése nem kötelező. Az alapértelmezett érték a következő: ADVANCED.
photon Típus: boolean Egy jelző, amely jelzi, hogy a Mi a Photon? parancsot használja-e a folyamat futtatásához. A Photon az Azure Databricks nagy teljesítményű Spark-motorja. A foton-kompatibilis folyamatok számlázása más ütemben történik, mint a nem Foton-folyamatok. A photon mező kitöltése nem kötelező. Az alapértelmezett érték false.
pipelines.maxFlowRetryAttempts Típus: int A folyamat újrapróbálkozási kísérleteinek maximális száma, mielőtt újrapróbálkozhat egy folyamatfrissítés, ha újrapróbálkozási hiba történik. Az alapértelmezett érték kettő. Alapértelmezés szerint újrapróbálkozási hiba esetén a Delta Live Tables futtatókörnyezet háromszor próbálja futtatni a folyamatot, beleértve az eredeti kísérletet is.
pipelines.numUpdateRetryAttempts Típus: int A frissítés újrapróbálkozási kísérleteinek maximális száma, mielőtt újrapróbálkozási hiba esetén meghiúsul a frissítés. Az újrapróbálkozás teljes frissítésként fut. Az alapértelmezett érték öt. Ez a paraméter csak az éles módban futtatott aktivált frissítésekre vonatkozik. Nincs újrapróbálkozás, ha a folyamat fejlesztési módban fut.

Delta Live Tables táblatulajdonságok

A Delta Lake által támogatott táblatulajdonságok mellett az alábbi táblázattulajdonságokat is beállíthatja.

Tábla tulajdonságai
pipelines.autoOptimize.managed Alapértelmezett: true Engedélyezi vagy letiltja a tábla automatikusan ütemezett optimalizálását.
pipelines.autoOptimize.zOrderCols Alapértelmezett: Nincs Nem kötelező sztring, amely az oszlopnevek vesszővel tagolt listáját tartalmazza, hogy a táblázatot z-sorrendbe rendezze. Például: pipelines.autoOptimize.zOrderCols = "year,month"
pipelines.reset.allowed Alapértelmezett: true Azt szabályozza, hogy a tábla teljes frissítése engedélyezett-e.

Folyamatok eseményindító időköze

Megadhat egy folyamatindító időközt a teljes Delta Live Tables-folyamathoz vagy egy adathalmaz-deklaráció részeként. További információt a folyamatos folyamatok eseményindító-időközének beállítása című témakörben talál.

pipelines.trigger.interval

Az alapértelmezett érték a folyamat típusán alapul: - 5 másodperc streamlekérdezések esetén. – Egy perc a teljes lekérdezésekhez, ha az összes bemeneti adat Delta-forrásokból származik. – Tíz perc a teljes lekérdezésekhez, ha egyes adatforrások nem delta jellegűek. Az érték egy szám és az időegység. Az érvényes időegységek a következők: - second, seconds - minute, minutes - hour, hours - day, days Az érték meghatározásakor használhatja a többes vagy többes számegységet, például: - {"pipelines.trigger.interval" : "1 hour"} - {"pipelines.trigger.interval" : "10 seconds"} - {"pipelines.trigger.interval" : "30 second"} - {"pipelines.trigger.interval" : "1 minute"} - {"pipelines.trigger.interval" : "10 minutes"} - {"pipelines.trigger.interval" : "10 minute"}

Nem felhasználó által beállított fürtattribútumok

Mivel a Delta Live Tables kezeli a fürt életciklusát, számos fürtbeállítást a Delta Live Tables állít be, és a felhasználók nem konfigurálhatják manuálisan sem folyamatkonfigurációban, sem egy folyamat által használt fürtszabályzatban. Az alábbi táblázat felsorolja ezeket a beállításokat, és hogy miért nem állíthatók be manuálisan.

Mezők
cluster_name A Delta Live Tables beállítja a folyamatfrissítések futtatásához használt fürtök nevét. Ezek a nevek nem bírálhatók felül.
data_security_mode access_mode Ezeket az értékeket a rendszer automatikusan beállítja.
spark_version A Delta Live Tables-fürtök a Databricks-futtatókörnyezet egyéni verziójában futnak, amelyet folyamatosan frissítenek a legújabb funkciók hozzáadásával. A Spark verziója a Databricks Runtime-verzióval van csomagolva, és nem bírálható felül.
autotermination_minutes Mivel a Delta Live Tables kezeli a fürt automatikus leállítását és az újbóli használat logikáját, a fürt automatikus leállási ideje nem bírálható felül.
runtime_engine Bár ezt a mezőt úgy szabályozhatja, hogy engedélyezi a Photon parancsot a folyamathoz, ezt az értéket nem állíthatja be közvetlenül.
effective_spark_version Ezt az értéket a rendszer automatikusan beállítja.
cluster_source Ezt a mezőt a rendszer állítja be, és írásvédett.
docker_image Mivel a Delta Live Tables kezeli a fürt életciklusát, nem használhat egyéni tárolót folyamatfürtökkel.
workload_type Ezt az értéket a rendszer állítja be, és nem bírálható felül.