Adatfolyamok figyelése

A Lakeflow-folyamatok monitorozása a beépített folyamat felhasználói felületével, az eseménynaplóval, a lekérdezési előzményekkel és az egyéni eseményhookokkal. Ezek a funkciók nyomon követik a frissítések előrehaladását, az adatminőséget, az adatleszármazást és a streamingmetrikákat.

A csővezeték-megfigyelés három rétegben működik, egy gyors pillantástól a mély programos lekérdezésekig:

• A Jobs & Pipelines lista a leggyorsabb ellenőrzés. Az utolsó öt futás eredményét státuszjelzőként mutatja minden pipeline mellett, így egy pillantással meg lehet mondani, hogy a legutóbbi futtatások sikeresek-e, kudarcosak-e, vagy még mindig futnak.
• A folyamatfigyelő felület a kiválasztott frissítéshez tartozó folyamat gráfját állapot szerint színkódolva, a táblánkénti sorszámokat és adatminőségi mutatókat, a frissítési előzményeket, valamint a streaming backlog mutatóit jeleníti meg. Lásd: Folyamatcsövek figyelése a felhasználói felületen.
• Az eseménynapló szolgál mindkettő alapjául, mint hiteles forrás. Ez egy strukturált Delta-tábla, amelyből bármilyen programozott vagy történeti célra lekérdezhetsz adatokat, például a frissítések eredményeit, az adatminőségi trendeket vagy az erőforrás-használatot. Lásd a folyamat eseménynaplóját.

A pipeline eseményei esetén konfiguráld az értesítéseket. Állítsd be az értesítéseket közvetlenül a csővezetékre, amikor az saját ütemezés szerint fut, vagy munkaadó értesítésekként , amikor a csővezeték egy Lakeflow Feladaton belül fut. Lásd: E-mail-értesítések hozzáadása folyamateseményekhez.

Téma	Description
Monitorozás a felhasználói felületen	Figyelje meg a frissítések előrehaladását és állapotát a csővezetékben, és legyen értesítve a sikerről vagy kudarcról. Megtekintheti a streamelési források, például az Apache Kafka és az Automatikus betöltő mérőszámait.
eseménynapló-	A folyamatfrissítésekkel, például az adatkisorolással, az adatminőségi metrikákkal és az erőforrás-használattal kapcsolatos részletes információk kinyerése a folyamatesemény-napló használatával. Emellett tekintse meg az eseménynapló sémáját is.
Lekérdezési előzmények	Vizsgálja meg és diagnosztizálja a lekérdezési teljesítményt a lekérdezési előzmények áttekintésével.
Egyéni monitorozás	Adott események bekövetkezésekor végrehajtandó egyéni műveleteket határozhat meg eseményhorgok használatával.

Emellett adott forgatókönyvek hibaelhárítási témakörei is vannak.

Téma	Description
Adatfeldolgozási folyamat helyreállítása streamelési ellenőrzőpont hibájának esetén	Érvénytelen vagy sérült streamelési ellenőrzőponttal rendelkező folyamat helyreállítása.
A folyamatláncok hosszú inicializálási idejének kijavítása	A magas inicializálási idő csökkentése a folyamatok csővezetékek közötti felosztásával és terheléselosztással.