Frissítés futtatása Delta Live Tables-folyamaton

Ez a cikk bemutatja, hogy mi a Delta Live Tables-folyamat frissítése, és hogyan futtathat egyet.

Miután létrehozott egy folyamatot, és készen áll a futtatásra, elkezdheti a frissítést. A folyamatfrissítések a következőket végzik el:

• Elindít egy fürtöt a megfelelő konfigurációval.
• Felderíti az összes definiált táblát és nézetet, és ellenőrzi az esetleges elemzési hibákat, például a nem érvényes oszlopneveket, a hiányzó függőségeket és a szintaxishibákat.
• Táblákat és nézeteket hoz létre vagy frissít a legfrissebb elérhető adatokkal.

Érvényesítési frissítéssel a folyamat forráskódjában lévő problémákat anélkül ellenőrizheti, hogy a táblák létrehozására vagy frissítésére vár. Ez a funkció a folyamatok fejlesztésekor vagy tesztelésekor hasznos, mivel lehetővé teszi a folyamat hibáinak gyors megtalálását és javítását, például helytelen tábla- vagy oszlopneveket.

A folyamat létrehozásának módjáról a Delta Live Tables-folyamat konfigurálása című témakörben olvashat.

A folyamatfrissítéseket a Databricks-feladatokkal vagy más eszközökkel vezényelheti. Lásd: Delta Live Tables-folyamat futtatása munkafolyamatban.

Folyamatfrissítés indítása

Az Azure Databricks számos lehetőséget kínál a folyamatfrissítések elindítására, többek között a következőkre:

• A Delta Live Tables felhasználói felületén a következő lehetőségek közül választhat:
  • Kattintson a folyamat részletei lapon található gombra.
  • A folyamatok listájában kattintson a Műveletek oszlopra.
• Ha egy jegyzetfüzetben szeretne frissítést indítani, kattintson a Delta Live Tables > Start gombra a jegyzetfüzet eszköztárán. Lásd: Delta Live Tables-folyamat megnyitása vagy futtatása jegyzetfüzetből.
• A folyamatokat programozott módon is aktiválhatja az API vagy a parancssori felület használatával. Lásd: Pipeline API.
• A folyamat feladatként ütemezhető a Delta Live Tables felhasználói felületén vagy a feladatok felhasználói felületén. Lásd: Folyamat ütemezése.

Feljegyzés

A manuálisan aktivált folyamatfrissítések alapértelmezett viselkedése ezen módszerek bármelyikével az összes frissítése.

A Delta Live Tables frissítése táblák és nézetek között

A táblák és nézetek frissítése, valamint a táblák és nézetek frissítése a frissítés típusától függ:

• Az összes frissítése: Minden tábla frissül, hogy tükrözze a bemeneti adatforrások aktuális állapotát. Streamelő táblák esetén a rendszer új sorokat fűz a táblához.
• Az összes teljes frissítés: Minden tábla frissül a bemeneti adatforrások aktuális állapotának megfelelően. Streamelő táblák esetén a Delta Live Tables megpróbálja törölni az összes adatot az egyes táblákból, majd betölteni az összes adatot a streamelési forrásból.
• Frissítés kiválasztása: A művelet működése refresh selection megegyezik, refresh all de csak a kijelölt táblák frissítését teszi lehetővé. A kiválasztott táblák a bemeneti adatforrások aktuális állapotát tükrözik. Streamelési táblák esetén a rendszer új sorokat fűz a táblához.
• Teljes frissítés kiválasztása: A működés full refresh selection azonos, full refresh all de lehetővé teszi, hogy csak a kijelölt táblák teljes frissítését végezze el. A kiválasztott táblák a bemeneti adatforrások aktuális állapotát tükrözik. Streamelési táblák esetén a Delta Live Tables megpróbálja törölni az összes adatot az egyes táblákból, majd betölti az összes adatot a streamforrásból.

A meglévő materializált nézetek esetében a frissítés működése megegyezik a materializált nézetek SQL-ével REFRESH . Az új materializált nézetek esetében a viselkedés megegyezik az SQL-művelettel CREATE .

Folyamatfrissítés indítása a kijelölt táblákhoz

Igény szerint újra feldolgozhatja az adatokat csak a folyamat kijelölt tábláihoz. A fejlesztés során például csak egyetlen táblát módosít, és csökkenteni szeretné a tesztelési időt, vagy egy folyamatfrissítés meghiúsul, és csak a sikertelen táblákat szeretné frissíteni.

Feljegyzés

Szelektív frissítést csak aktivált folyamatokkal használhat.

Ha olyan frissítést szeretne elindítani, amely csak a kijelölt táblákat frissíti, a Folyamat részletei lapon:

1. Kattintson a Táblák kijelölése frissítéshez elemre. Megjelenik a Táblák kijelölése frissítéshez párbeszédpanel.

   Ha nem látja a Táblák kiválasztása frissítéshez gombot, ellenőrizze, hogy a Folyamat részletei lapon megjelenik-e a legújabb frissítés, és hogy a frissítés befejeződött-e. Ha például nem jelenik meg DAG a legújabb frissítéshez, mert a frissítés sikertelen volt, a Táblák kijelölése frissítéshez gomb nem jelenik meg.

2. A frissíteni kívánt táblák kijelöléséhez kattintson az egyes táblákra. A kijelölt táblák ki vannak emelve és címkézve. Ha el szeretne távolítani egy táblát a frissítésből, kattintson ismét a táblára.

3. Kattintson a Kijelölés frissítése elemre.

   Feljegyzés

   A Kijelölés frissítése gomb zárójelben jeleníti meg a kijelölt táblák számát.

A kijelölt táblákhoz már betöltött adatok újrafeldolgozásához kattintson a Kijelölés frissítése gombra, és kattintson a Teljes frissítés beállításra.

Folyamatfrissítés indítása sikertelen táblákhoz

Ha egy folyamatfrissítés a folyamatdiagram egy vagy több táblájának hibája miatt hiúsul meg, csak a sikertelen táblák és az alárendelt függőségek frissítését indíthatja el.

Feljegyzés

A kizárt táblák nem frissülnek, még akkor sem, ha egy sikertelen táblától függnek.

A sikertelen táblák frissítéséhez kattintson a Folyamat részletei lapon a Sikertelen táblák frissítése elemre.

Csak a kijelölt sikertelen táblák frissítése:

1. Kattintson a Sikertelen táblák frissítése gomb mellett, majd kattintson a Táblák kijelölése frissítéshez parancsra. Megjelenik a Táblák kijelölése frissítéshez párbeszédpanel.

2. A frissíteni kívánt táblák kijelöléséhez kattintson az egyes táblákra. A kijelölt táblák ki vannak emelve és címkézve. Ha el szeretne távolítani egy táblát a frissítésből, kattintson ismét a táblára.

3. Kattintson a Kijelölés frissítése elemre.

   Feljegyzés

   A Kijelölés frissítése gomb zárójelben jeleníti meg a kijelölt táblák számát.

A kijelölt táblákhoz már betöltött adatok újrafeldolgozásához kattintson a Kijelölés frissítése gombra, és kattintson a Teljes frissítés beállításra.

Hibák ellenőrzése a folyamatokban a táblák frissítésére való várakozás nélkül

Fontos

A Delta Live Tables Validate frissítési funkciója nyilvános előzetes verzióban érhető el.

Annak ellenőrzéséhez, hogy egy folyamat forráskódja érvényes-e teljes frissítés futtatása nélkül, használja az Ellenőrzés parancsot. A Validate frissítés feloldja a folyamatban definiált adathalmazok és folyamatok definícióit, de nem hoz létre és nem tesz közzé adathalmazokat. Az ellenőrzés során észlelt hibák, például helytelen tábla- vagy oszlopnevek a felhasználói felületen jelennek meg.

Frissítés futtatásához Validate kattintson a Folyamat részletei lapra a Start mellett, majd az Ellenőrzés gombra.

A Validate frissítés befejezése után az eseménynapló csak a Validate frissítéshez kapcsolódó eseményeket jeleníti meg, és a DAG-ban nem jelennek meg metrikák. Ha hibát talál, a részletek az eseménynaplóban érhetők el.

Csak a legújabb Validate frissítés eredményei láthatók. Ha a Validate frissítés volt a legutóbb futtatott frissítés, az eredményeket a frissítési előzményekben való kijelöléssel tekintheti meg. Ha a Validate frissítés után egy másik frissítés fut, az eredmények már nem érhetők el a felhasználói felületen.

Folyamathatárok kiválasztása

A Delta Live Tables-folyamat képes feldolgozni egy tábla frissítéseit, több, függő kapcsolattal rendelkező táblát, több, kapcsolat nélküli táblát vagy több független, függő kapcsolattal rendelkező táblát. Ez a szakasz megfontolandó szempontokat tartalmaz a folyamatok megszakításának meghatározásához.

A nagyobb Delta Live Tables-folyamatok számos előnnyel rendelkeznek. Ezek közé tartoznak például az alábbiak:

• Hatékonyabban használhatja a fürterőforrásokat.
• Csökkentse a munkaterületen lévő folyamatok számát.
• Csökkentse a munkafolyamat-vezénylés összetettségét.

A feldolgozási folyamatok felosztására vonatkozó gyakori javaslatok közé tartoznak a következők:

• A funkciók felosztása a csapathatárok között. Előfordulhat például, hogy az adatcsoport folyamatokat tart fenn az adatok átalakításához, míg az adatelemzők olyan folyamatokat tartanak fenn, amelyek az átalakított adatokat elemzik.
• A funkciók felosztása alkalmazásspecifikus határvonalakon az összekapcsolás csökkentése és a közös funkciók újbóli használatának megkönnyítése érdekében.

Fejlesztési és termelési módok

A folyamatvégrehajtást optimalizálhatja a fejlesztési és az éles üzemmódok közötti váltással. A Folyamatok felhasználói felületén található gombokkal válthat a két mód között. Alapértelmezés szerint a folyamatok fejlesztési módban futnak.

Ha fejlesztési módban futtatja a folyamatot, a Delta Live Tables rendszer a következőket teszi:

• Újra felhasznál egy fürtöt az újraindítások többletterhelésének elkerülése érdekében. Alapértelmezés szerint a fürtök két órán át futnak, ha engedélyezve van a fejlesztési mód. Ezt a Delta Live Tables-folyamat számításának konfigurálása beállításával pipelines.clusterShutdown.delay módosíthatja.
• Letiltja a folyamat újrapróbálkozását, így azonnal észlelheti és kijavíthatja a hibákat.

Éles módban a Delta Live Tables rendszer a következőket teszi:

• Újraindítja a fürtöt bizonyos helyreállítható hibák esetén, beleértve a memóriavesztést és az elavult hitelesítő adatokat.
• Újrapróbálkozza a végrehajtást adott hibák, például fürt indítása sikertelensége esetén.

Feljegyzés

A fejlesztési és éles üzemmódok közötti váltás csak a fürt és a folyamatvégrehajtás viselkedését szabályozza. A katalógusban a közzétételi táblák tárolási helyeit és célsémáit a folyamatbeállítások részeként kell konfigurálni, és a módok közötti váltás nem érinti.

Folyamat ütemezése

Elindíthat manuálisan egy aktivált folyamatot, vagy ütemezés szerint futtathatja a folyamatot egy Azure Databricks-feladattal. Létrehozhat és ütemezhet feladatokat egyetlen folyamattevékenységgel közvetlenül a Delta Live Tables felhasználói felületén, vagy felvehet egy folyamattevékenységet egy többfeladatos munkafolyamatba a feladatok felhasználói felületén. Feladatokhoz lásd a Delta Live Tables folyamatfeladatát.

Egy feladatból álló feladat és ütemezés létrehozása a Feladathoz a Delta Live Tables felhasználói felületén:

1. Kattintson az Ütemezés ütemezés > hozzáadása parancsra. Ha a folyamat szerepel egy vagy több ütemezett feladatban, az Ütemezés gomb frissül, hogy megjelenítse a meglévő ütemezések számát, például az Ütemezés (5) lehetőséget.
2. Adja meg a feladat nevét a Feladat neve mezőben.
3. Állítsa be az ütemezést ütemezettre.
4. Adja meg az időszakot, a kezdési időt és az időzónát.
5. Konfiguráljon egy vagy több e-mail-címet, hogy riasztásokat kapjon a folyamat indításáról, sikerességéről vagy sikertelenségéről.
6. Kattintson a Létrehozás gombra.