Folyamatok monitorozása a felhasználói felületen

Ez a szakasz a Lakeflow Spark Deklaratív folyamatok beépített monitorozási és megfigyelhetőségi funkcióinak használatát ismerteti az Azure Databricks felhasználói felületén. Ezek a funkciók olyan feladatokat támogatnak, mint például:

• A folyamatfrissítések előrehaladásának és állapotának megfigyelése. Tekintse meg a monitorozási lapon elérhető folyamatadatokat.
• Riasztás a folyamat eseményeiről, például a folyamatfrissítések sikerességéről vagy sikertelenségéről. Lásd: E-mail-értesítések hozzáadása folyamateseményekhez.
• A streamelési források, például az Apache Kafka és az Automatikus betöltő (nyilvános előzetes verzió) metrikáinak megtekintése. Lásd: Streamelési metrikák megtekintése.

E-mail-értesítések hozzáadása folyamateseményekhez

Egy vagy több e-mail-címet úgy konfigurálhat, hogy értesítéseket kapjon az alábbiak esetén:

• Egy adatfolyam frissítése sikeresen befejeződött.
• A csővezetékfrissítés sikertelen, újrapróbálható vagy nem újrapróbálható hibával. Ha bejelöli ezt a lehetőséget, értesítést szeretne kapni az összes folyamathibáról.
• A folyamatfrissítés nem újrapróbálkozható (végzetes) hibával meghiúsul. Ha ezt a beállítást választja, csak akkor kap értesítést, ha nem újrapróbálkozható hiba történik.
• Egyetlen adatfolyam megszakad.

Az e-mail-értesítések konfigurálásához szerkessze a folyamat beállításait. Lásd : Értesítések.

Megjegyzés:

Hozzon létre egyéni válaszokat az eseményekre, beleértve az értesítéseket vagy az egyéni kezelést Python-eseményhookok használatával.

Folyamatok megtekintése a felhasználói felületen

Keresse meg a folyamatot a Feladatok > Folyamatok lehetőség a munkaterület oldalsávjában. Ekkor megnyílik a Feladatok > folyamatok lap, ahol megtekintheti az egyes feladatokra és folyamatokra vonatkozó információkat, amelyekhez hozzáféréssel rendelkezik. Kattintson egy folyamat nevére a folyamatfigyelési lap megnyitásához. A feladat vagy folyamat szerkesztéséhez kattintson a menüre, és válassza a Szerkesztés parancsot.

Megjegyzés:

A feladatok és a különböző folyamattípusok különböző szerkesztőkkel rendelkeznek. A Szerkesztés lehetőség megnyitja a megfelelő szerkesztőt a kiválasztott objektumhoz.

A Feladatok > folyamatok listájának használata

A kattintva megtekintheti azoknak a folyamatoknak a listáját, amelyekhez hozzáféréssel rendelkezik.Feladatok > Folyamatok az oldalsávon. A Feladatok > folyamatok lap az összes elérhető feladatról és folyamatról, például a létrehozóról, az eseményindítóról (ha van ilyen) és az utolsó öt futtatás eredményéről tartalmaz információkat.

Egy folyamat vagy feladat nevére kattintva a folyamat vagy feladat figyelési lapjára léphet. A folyamat vagy feladat szerkesztéséhez kattintson a majd válassza a Szerkesztés lehetőséget.

A listában megjelenő oszlopok módosításához kattintson az , és jelölje ki vagy törölje az oszlopok kijelölését. Ha például oszlopként szeretné hozzáadni az Pipeline Type oszlopot, jelölje ki a megtekinteni kívánt oszlopot.

Az alábbi képernyőképen látható módon szűrheti a feladatokat a Feladatok > folyamatok listában.

1. Szöveges keresés: a Névés azonosító mezők esetében támogatott a kulcsszókeresés. Egy kulccsal és értékkel létrehozott címke kereséséhez a kulcs, az érték vagy a kulcs és az érték alapján is kereshet. Például a kulccsal department és az értékkel financerendelkező címkék esetében megkeresheti department vagy finance megkeresheti az egyező feladatokat. A kulcs és az érték alapján történő kereséshez írja be a kulcsot és az értéket kettősponttal elválasztva (például department:finance).
2. Típus: szűrés feladatok, folyamatok vagy mind szerint. Ha a Folyamatok lehetőséget választja, folyamattípus szerint is szűrhet, amely magában foglalja az ETL- és a betöltési folyamatokat is.
3. Tulajdonos: csak a saját feladatait jeleníti meg.
4. Kedvencek: kedvencként megjelölt feladatok megjelenítése.
5. Címkék: Címkék használata. Címkék alapján történő kereséshez a címkék legördülő menüjével egyszerre legfeljebb öt címkére szűrhet, vagy közvetlenül használhatja a kulcsszókeresést.
6. Futtatás: Szűrés legfeljebb két run as érték alapján.

Feladat vagy folyamat indításához kattintson a . Feladat vagy folyamat leállításához kattintson az gombra. Más műveletek eléréséhez kattintson a kebab menü Szerkesztheti vagy törölheti például a feladat vagy a folyamat beállításait, vagy elérheti a folyamat beállításait az adott menüből.

A monitorozási lapon elérhető folyamatadatok

Megjegyzés:

Több előzetes verzió is létezik, amelyek hatással lehetnek arra, hogy mit lát a folyamatok monitorozása során a felhasználói felületen.

• A Lakeflow Pipelines-szerkesztő megváltoztatja a munkafolyamat részleteinek élményét. Ha az előzetes verziót választja, az információk az itt leírtaktól eltérő felhasználói felületen jelennek meg. A felhasználói felülettel kapcsolatos részletekért tekintse meg a Lakeflow-folyamatok szerkesztőjének módosításait.
• Az Egyesített futtatások lista előzetes verziója hozzáadja a folyamatfuttatásokat a feladatok futtatási listájához. Az előnézetet engedélyező módosításokkal és azok engedélyezésével kapcsolatos részletekért tekintse meg az Egyesített futtatások lista előzetes verziójának módosításait.

A Feladatok > Folyamatok lapon egy folyamat nevére kattintva megjelenik a folyamat figyelési oldala. Innen elindíthat egy folyamatfuttatást, és megtekintheti a korábbi futtatás részleteit.

A folyamatdiagram (más néven DAG) azonnal megjelenik, amint egy folyamat frissítése sikeresen elindult. A nyilak a folyamat adathalmazai közötti függőségeket jelölik. A folyamatfigyelési oldal alapértelmezés szerint a tábla legújabb frissítését jeleníti meg, de a legördülő menüből kiválaszthatja a régebbi frissítéseket.

A részletek közé tartozik a folyamat azonosítója, a forráskód, a számítási költség, a termékkiadás és a folyamathoz konfigurált csatorna.

Az adathalmazok táblázatos nézetének megtekintéséhez kattintson a Lista fülre . A Lista nézet lehetővé teszi, hogy a folyamat összes adathalmaza egy tábla soraként jelenítse meg, és akkor hasznos, ha a folyamatdiagram túl nagy ahhoz, hogy a Gráf nézetben megjelenítse. A táblában megjelenő adathalmazokat több szűrő, például az adathalmaz neve, típusa és állapota alapján szabályozhatja. Ha vissza szeretne térni a DAG-vizualizációra, kattintson a Graphelemre.

A Mint felhasználó a folyamat tulajdonosa, és a folyamat frissítései ezzel a felhasználóval való engedélyekkel futnak. A run as felhasználó módosításához kattintson Engedélyek elemre, és módosítsa a folyamat tulajdonosát.

Milyen változások vannak a Lakeflow Pipelines-szerkesztőben?

Ha a Lakeflow Pipelines Editor előzetes verziójára és az új folyamatmonitorozási felhasználói felületre van választva, bizonyos információk a felhasználói felületen különböző helyeken találhatók. A Lakeflow Pipelines-szerkesztőről és a két előzetes verzióra való választásról további információt a Lakeflow Pipelines-szerkesztő engedélyezése és a frissített figyelés című témakörben talál.

Fontos

Ez a funkció nyilvános előzetes verzióban van.

A folyamatfigyelési oldal monitorozásának következő módosításai jelennek meg, ha mindkét előzetes verziót választják:

• A jobb oldali panelEn a Folyamat részletei és a Frissítés részletei fülek egyesítve lettek a felül található folyamatadatokkal, majd a frissítés részleteivel.

• A diagram egyik táblájára kattintva nem jelennek meg a táblázat részletei a jobb oldali panelen. A jobb oldali panel továbbra is megjeleníti a folyamatot és a frissítés részleteit. Ehelyett az alsó panel táblázatinformációkat jelenít meg.

• A folyamat fejlesztési módban való futtatására vonatkozó szabályok kissé frissülnek. A fejlesztési módról további információt a Fejlesztési mód című témakörben talál.

  • A folyamat ütemezésen vagy eseményindítón keresztül történő futtatása a fejlesztési mód használatára vonatkozó folyamatbeállítást követi. A folyamat alapértelmezett beállításait a Folyamat beállításai között módosíthatja.
  • A folyamat monitorozási felhasználói felületen való futtatása a folyamatbeállításokban meghatározott módot fogja használni. A legördülő menüBen a Futtatás különböző beállításokkal lehetőséggel választhatja ki, hogy fejlesztési módot szeretne-e használni.
  • A folyamat futtatása a folyamatszerkesztőből alapértelmezés szerint a fejlesztési módba kerül. A legördülő menüBen a Futtatás különböző beállításokkal lehetőséggel dönthet úgy, hogy nem használja a fejlesztési módot.

• A folyamat részletei között már nincs hivatkozás a forráskódra. Ehelyett válassza a Folyamat szerkesztése lehetőséget a tetején. Ha egy adott tábla kódját szeretné elérni, vigye az egérmutatót a DAG táblára, és kattintson a Lépjen a Kód gombra.

• Az eseménynapló alapértelmezés szerint nem jelenik meg a folyamatfigyelési oldal minden frissítésén. Ha a feldolgozás során hiba történik, a hibák az alsó panelen jelennek meg, és megjelenik a Naplók megtekintése gomb az adott futtatás eseménynaplójának megtekintéséhez. Az eseménynapló az kiválasztásával is elérhető.Tekintse meg az eseménynaplót a jobb oldali panel futtatási részleteiből.

  Az eseménynapló eléréséhez, amikor frissítést futtat az új Lakeflow Pipelines-szerkesztőben, keresse meg a szerkesztő alján található Problémák és elemzések panelt, kattintson a Naplók megtekintése vagy a Megnyitás naplók gombra a hiba mellett. További részletekért lásd: Lakeflow Pipelines Editor és Csővezeték beállításai az eseménynaplóhoz.

• A táblázatséma adatai az alsó panel Táblák lapján lévő táblázat kiválasztásával, majd az Oszlopok lehetőség kiválasztásával érhetők el.

• A lekérdezési előzmények az alsó panel Teljesítmény elemének kiválasztásával érhetők el.

• A táblázat megjegyzései nem érhetők el a folyamat részleteinek oldaláról. A táblázat megjegyzéseinek megtekintéséhez tekintse meg a táblázatot a Catalog Explorerből. Ha a Katalóguskezelőben közvetlenül a táblázatra szeretne ugorni, vigye az egérmutatót a dagi táblázat fölé, majd kattintson a , majd az Megtekintés a katalógusban. Az kattintva a Katalóguskezelőben lévő információkat az alsó panel táblázatlistájából is elérheti.

Milyen változások vannak az Egyesített futtatások lista előzetes verziójában?

Ha engedélyezve van az Egyesített futtatások lista előnézete, a folyamatfuttatási frissítéseket a Feladatok > Folyamatok lapon tekintheti meg.

Fontos

Az egyesített futtatások listája nyilvános előzetes verzióban érhető el.

Az egyesített futtatások listájának engedélyezéséhez a munkaterület rendszergazdájának be kell jelentkeznie az előzetes verzióba. Az előzetes verzióra való bejelentkezéssel kapcsolatos részletekért lásd: Fiókszintű előzetes verziók kezelése.

Az egyesített futtatások listájának eléréséhez válassza az Ellenőrzőlista ikon Futtatások elemet a munkaterület oldalsávjában, vagy kattintson a Munkafolyamatok ikonraFeladatok & Pipelines, majd válassza a Futtatások fület.

A lapon az elmúlt 60 nap futtatásainak listája látható. Az alábbi esetekben először egy grafikon jelenik meg, amely az elmúlt 48 órában futó futtatások sikerességét és sikertelenségét mutatja:

• A rendszer csak feladatokra vagy folyamatokra szűr.
• Ön rendszergazda, vagy csak futtatásokra szűr Run as: Me
• A futtatások akár egy órát is igénybe vehetnek a diagramon való megjelenítéshez.

A listát és a gráfot a következővel szűrheti:

• A feladat vagy folyamat neve.
• Minden, feladatkör vagy folyamatlánc.
• Folyamat típusa (ETL, Betöltés, MV/ST vagy Adatbázistábla szinkronizálása).
• A Felhasználóként futtatás.
• A futtatás kezdési ideje (az elmúlt 48 órában).
• A Futtatás állapota.
• A sikertelen futtatások hibakódja .

A fentiek mellett a lista alábbi oszlopait is megtekintheti:

• Befejezési idő
• Futtatási azonosító
• Függetlenül attól, hogy a futtatás manuálisan vagy ütemezés szerint lett-e elindítva .
• Futtatási időtartam.
• Futtatási paraméterek

A futtatások listájában megjelenő oszlopok módosításához kattintson az majd jelölje ki vagy törölje az oszlopok kijelölését.

A folyamatfuttatás kezdési időpontjára, befejezési időpontjára vagy nevére kattintva a folyamat figyelési oldalára léphet.

Ha egy folyamat aktívan fut, a kattintva leállíthatja a futtatást. Bármikor kattinthat a sorban a futtatáshoz tartozó menügombra, majd választhatja a Folyamat szerkesztése lehetőséget, hogy megtekintse a folyamatot a szerkesztőben.

Hogyan tekintheti meg az adathalmaz részleteit?

Ha a folyamatgráfban vagy adathalmazlistában egy adatkészletre kattint, az adathalmaz részletei láthatók. A részletek közé tartozik az adathalmaz sémája, az adatminőségi metrikák és az adathalmazt meghatározó forráskódra mutató hivatkozás.

Frissítési előzmények megtekintése

A folyamatfrissítések előzményeinek és állapotának megtekintéséhez kattintson a frissítési előzmények legördülő menüre a felső sávon.

Válassza ki a frissítést a legördülő menüben a frissítés gráfjának, részleteinek és eseményeinek megtekintéséhez. A legújabb frissítéshez való visszatéréshez kattintson a A legújabb frissítés megjelenítéseelemre.

Streamelési metrikák megtekintése

Fontos

A folyamatok streamelhetősége nyilvános előzetes verzióban érhető el.

A streamelési metrikákat a Spark strukturált streaming által támogatott adatforrásokból tekintheti meg, például az Apache Kafka, az Amazon Kinesis, az Auto Loader és a Delta táblák esetében, minden adatfolyamhoz a csővezetékben. A metrikák diagramként jelennek meg a folyamat felhasználói felületének jobb oldali ablaktábláján, és tartalmazzák a hátralék másodperceit, a hátralék bájtjait, a hátralékrekordokat és a hátralékfájlokat. A diagramok a percenként összesített maximális értéket jelenítik meg, az eszköztippek pedig a maximális értékeket mutatják, amikor a diagram fölé viszi az egérmutatót. Az adatok az aktuális időponttól számítva az utolsó 48 órára korlátozódnak.

A folyamat azon táblái, ahol elérhetők streamelési metrikák, az jelenik meg a folyamat DAG-jának felhasználói felületi gráf nézetben való megtekintésekor. A streamelési metrikák megtekintéséhez kattintson az a streamelési metrikadiagram megjelenítéséhez a jobb oldali panel Folyamatok lapján. Csak a streaming metrikákat tartalmazó táblázatok megtekintéséhez szűrőt is alkalmazhat úgy, hogy először a Lista, majd a Streamelési metrikákelemre kattint.

Minden streamforrás csak bizonyos metrikákat támogat. A streamelési forrás által nem támogatott metrikák nem tekinthetők meg a felhasználói felületen. Az alábbi táblázat a támogatott streamelési forrásokhoz elérhető metrikákat mutatja be:

adatforrás	várólista bájtok	függőben lévő rekordok	felhalmozódott idő másodpercben	hátralékfájlok
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Automatikus betöltő	✓			✓
Google Pub/Sub (üzenetkezelő rendszer)	✓	✓