A Databricks-feladatok monitorozása és megfigyelhetősége

Ez a cikk az Azure Databricks felhasználói felületén elérhető funkciókat ismerteti a feladatok megtekintéséhez, a feladatok futtatási előzményeinek megtekintéséhez és a feladatfuttatások részleteinek megtekintéséhez. A feladatok értesítéseinek konfigurálásához lásd: E-mail- és rendszerértesítések hozzáadása feladateseményekhez.

A Databricks parancssori felületének használatával a feladatok megtekintéséhez és a feladatok futtatásához futtassa a parancssori felület parancsait databricks jobs list -h, databricks jobs get -hés databricks jobs run-now -ha . A Jobs API használatáról a Jobs API-t tekintheti meg.

Ha rendelkezik hozzáféréssel a system.lakeflow sémához, megtekintheti és lekérdezheti a feladatfuttatások és feladatok rekordjait a fiókon keresztül. Lásd: Feladatok rendszertábla-referenciája.

Feladatok megtekintése

Az oldalsáv Munkafolyamatok elemére kattintva megtekintheti azoknak a feladatoknak a listáját, amelyekhez hozzáféréssel rendelkezik. A Munkafolyamatok felhasználói felületén található Feladatok lap az összes elérhető feladatról, például a feladat létrehozójáról, a feladat eseményindítójáról, ha van ilyen, és az utolsó futtatás eredményéről is.

A feladatok listájában megjelenő oszlopok módosításához kattintson és jelölje ki vagy törölje az oszlopok kijelölését.

A Feladatok listában szűrheti a feladatokat:

• Kulcsszavak használata. Ha a munkaterületen engedélyezve van a megnövekedett feladatok korlátozási funkciója, a kulcsszavak szerinti keresés csak a név, a feladatazonosító és a feladatcímke mezők esetében támogatott.
• Csak a saját feladatait válassza ki.
• Válassza ki az összes olyan feladatot, amelyhez hozzáféréssel rendelkezik.
• Címkék használata. Ha csak egy kulccsal létrehozott címkét szeretne keresni, írja be a kulcsot a keresőmezőbe. Egy kulccsal és értékkel létrehozott címke kereséséhez a kulcs, az érték vagy a kulcs és az érték alapján is kereshet. Például a kulccsal department és az értékkel financerendelkező címkék esetében megkeresheti department vagy finance megkeresheti az egyező feladatokat. Ha a kulcs és az érték alapján szeretne keresni, írja be a kulcsot és az értéket kettősponttal elválasztva; például department:finance.

Bármelyik oszlopfejlécre kattintva rendezheti a feladatok listáját (csökkenő vagy növekvő) az adott oszlop szerint. Ha engedélyezve van a megnövekedett feladatok korlátja funkció, a rendezés csak a következő szerint Nametörténik: . Job IDCreated by Az alapértelmezett rendezés növekvő sorrendben történik Name .

Ide kattintva elérheti a feladat műveleteit, például törölheti a feladatot.

Feladat futtatásainak megtekintése

Megtekintheti a jelenleg futó és a közelmúltban befejezett futtatások listáját az összes olyan feladathoz, amelyhez hozzáférése van, beleértve a külső vezénylési eszközök, például az Apache Airflow vagy az Azure Data Factory által indított futtatásokat is. A legutóbbi feladatfuttatások listájának megtekintése:

1. Kattintson a Munkafolyamatok elemre az oldalsávon.
2. A Név oszlopban kattintson egy feladat nevére. A Futtatások lap az aktív és befejezett futtatások mátrix- és listanézeteivel jelenik meg.

A mátrixnézet a feladat futtatásának előzményeit jeleníti meg, beleértve az egyes feladatokat is.

A mátrix Futtatási teljes időtartam sora megjeleníti a futtatás teljes időtartamát és a futtatás állapotát. A futtatás részleteinek megtekintéséhez, beleértve a kezdési időt, az időtartamot és az állapotot, mutasson az egérmutatóra a Futtatás teljes időtartama sorban.

A Tevékenységek sor minden celláját egy tevékenység és a tevékenység megfelelő állapota jelöli. Ha meg szeretné tekinteni az egyes tevékenységek részleteit, beleértve a kezdési időpontot, az időtartamot, a fürtöt és az állapotot, vigye az egérmutatót az adott tevékenység cellájára.

A feladatfuttatás és a feladatfuttatási sávok színkódokkal jelzik a futtatás állapotát. A sikeres futtatások zöldek, a sikertelen futtatások pirosak, a kihagyott futtatások pedig rózsaszínek. Az egyes feladatfuttatások és feladatfuttatási sávok magassága vizuálisan jelzi a futtatás időtartamát.

Ha konfigurálta a várt befejezési időt, a mátrix nézet figyelmeztetést jelenít meg, ha a futtatás időtartama meghaladja a konfigurált időt.

Alapértelmezés szerint a futtatások listanézete a következőt jeleníti meg:

• A futtatás kezdő időpontja.
• A futtatási azonosító.
• Függetlenül attól, hogy a futtatás feladatütemezés vagy API-kérés által lett-e aktiválva, vagy manuálisan indult el.
• Egy jelenleg futó feladat vagy egy befejezett futtatás teljes futási ideje. Figyelmeztetés jelenik meg, ha az időtartam meghaladja a konfigurált befejezési időt.
• A Spark-naplókra mutató hivatkozások.
• A futtatás állapota, vagy Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, TerminatedInternal Error, , Timed Out, , Canceled, Cancelingvagy Waiting for Retry.
• Ide kattintva elérheti a futtatás környezetspecifikus műveleteit, például leállíthat egy aktív futtatást, vagy törölhet egy befejezett futtatást.

A futtatáslista nézetben megjelenő oszlopok módosításához kattintson és jelölje ki vagy törölje az oszlopok kijelölését.

A feladatfuttatás részleteinek megtekintéséhez kattintson a futtatás hivatkozására a Futtatáslista nézetben a Kezdési idő oszlopban. A feladat legutóbbi sikeres futtatásának részleteinek megtekintéséhez kattintson az Ugrás a legutóbbi sikeres futtatásra elemre.

Az Azure Databricks akár 60 napig is megőrzi a feladat futtatásának előzményeit. Ha meg kell őriznie a feladatfuttatásokat, a Databricks azt javasolja, hogy a lejárat előtt exportálja az eredményeket. További információ: Feladatfuttatási eredmények exportálása.

Feladatfuttatás részleteinek megtekintése

A feladatfuttatás részletei lap a feladat kimenetét és a naplókra mutató hivatkozásokat tartalmazza, beleértve a feladatfuttatás egyes feladatainak sikerességével vagy sikertelenségével kapcsolatos információkat. A feladat futtatási adatait a feladat Futtatások lapján érheti el. A feladatok futtatási részleteinek megtekintéséhez a Futtatások lapon kattintson a futtatás hivatkozására a Futtatáslista nézetben a Kezdési időpont oszlopban. A feladat Futtatások lapjára való visszatéréshez kattintson a Feladatazonosító értékre.

Ha a feladat több tevékenységet tartalmaz, kattintson egy tevékenységre a tevékenységfuttatás részleteinek megtekintéséhez, beleértve a következőket:

• a feladatot futtató fürt
  • a Tevékenység Spark felhasználói felülete
  • naplók a feladathoz
  • a tevékenység metrikái

A feladat Futtatások lapjára való visszatéréshez kattintson a Feladatazonosító értékre.

Hogyan határozza meg az Azure Databricks a feladatfuttatás állapotát?

Az Azure Databricks a feladat levélfeladatainak eredménye alapján határozza meg, hogy egy feladat futtatása sikeres volt-e. A levélfeladat olyan tevékenység, amely nem rendelkezik alárendelt függőségekkel. A feladatok futtatásának három kimenete lehet:

• Sikeres: Minden tevékenység sikeres volt.
• Sikertelen volt: Egyes tevékenységek sikertelenek voltak, de az összes levélfeladat sikeres volt.
• Sikertelen: Egy vagy több levélfeladat meghiúsult.

Tevékenységfuttatási előzmények megtekintése

Egy feladat futtatási előzményeinek megtekintése, beleértve a sikeres és sikertelen futtatásokat is:

1. Kattintson egy feladatra a Feladatfuttatás részletei lapon. Megjelenik a Feladatfuttatás részletei lap.
2. Válassza ki a feladatfuttatást a futtatási előzmények legördülő menüben.

Tevékenység futtatási előzményeinek megtekintése egy For each tevékenységhez

A For each tevékenységek futtatási előzményeinek elérése ugyanaz, mint egy standard Azure Databricks-feladat. A Feladatfuttatás részletei lapon vagy a mátrix nézetben a megfelelő cellára kattintva a feladatcsomópontra kattinthatFor each. A szokásos tevékenységekkel ellentétben azonban a For each tevékenységek futtatási részletei a beágyazott tevékenység iterációinak táblázataként jelennek meg.

Ha csak a sikertelen iterációkat szeretné megtekinteni, kattintson a Csak a sikertelen iterációk elemre.

Az iteráció kimenetének megtekintéséhez kattintson az iteráció kezdési vagy befejezési idő értékeire.

Legutóbbi feladatfuttatások megtekintése

Megtekintheti a jelenleg futó és a közelmúltban befejezett futtatások listáját egy olyan munkaterület összes feladatához, amelyhez hozzáféréssel rendelkezik, beleértve a külső vezénylési eszközök, például az Apache Airflow vagy az Azure Data Factory által indított futtatásokat is. A legutóbbi feladatfuttatások listájának megtekintése:

1. Kattintson a Munkafolyamatok elemre az oldalsávon.
2. Kattintson a Feladatfuttatások fülre a Feladatfuttatások lista megjelenítéséhez.

A Befejezett futtatások száma diagram az elmúlt 48 órában befejezett feladatok számát jeleníti meg. Alapértelmezés szerint a gráf megjeleníti a sikertelen, kihagyott és sikeres feladatfuttatásokat. Szűrheti a gráfot is, hogy konkrét futtatási állapotokat jelenítsen meg, vagy a gráfot egy adott időtartományra korlátozza. A Feladatfuttatások lap az elmúlt 67 nap feladatfuttatásainak táblázatát is tartalmazza. Alapértelmezés szerint a táblázat a sikertelen, kihagyott és sikeres feladatfuttatások részleteit tartalmazza.

Feljegyzés

A Kész futtatások száma diagram csak akkor jelenik meg, ha a Saját tulajdon gombra kattint.

A Befejezett futtatások számát futtatási állapot szerint szűrheti:

• Ha frissíteni szeretné a gráfot az aktuálisan futó vagy a futtatásra váró feladatok megjelenítéséhez, kattintson az Aktív futtatások elemre.
• Ha frissíteni szeretné a grafikont, hogy csak a befejezett futtatások jelenjenek meg, beleértve a sikertelen, a sikeres és a kihagyott futtatásokat, kattintson a Befejezett futtatások elemre.
• Ha frissíteni szeretné a gráfot, hogy csak az elmúlt 48 órában sikeresen befejezett futtatások jelenjenek meg, kattintson a Sikeres futtatások elemre.
• Ha frissíteni szeretné a gráfot, hogy csak a kihagyott futtatások jelenjenek meg, kattintson a Kihagyott futtatások elemre. A futtatások kimaradnak, mert túllépte az egyidejű futtatások maximális számát a munkaterületen, vagy a feladat túllépte a feladatkonfiguráció által megadott egyidejű futtatások maximális számát.
• Ha frissíteni szeretné a gráfot, hogy csak a hibaállapotban befejezett futtatások jelenjenek meg, kattintson a Sikertelen futtatások elemre.

A szűrőgombok bármelyikére kattintva a futtatások listája a futtatástáblában is frissül, hogy csak a kijelölt állapotnak megfelelő feladatfuttatások jelenjenek meg.

A Kész futtatások száma gráfban megjelenített időtartomány korlátozásához kattintson és húzza a kurzort a diagramon az időtartomány kiválasztásához. A gráf és a futtatástábla frissítése csak a kiválasztott időtartományból származó futtatások megjelenítéséhez.

Alapértelmezés szerint a futtatások listája megjelenik a futtatástáblában:

• A futtatás kezdő időpontja.
• A futtatáshoz társított feladat neve.
• A feladat által futtatott felhasználónév.
• Függetlenül attól, hogy a futtatás feladatütemezés vagy API-kérés által lett-e aktiválva, vagy manuálisan indult el.
• Egy jelenleg futó feladat vagy egy befejezett futtatás teljes futási ideje. Figyelmeztetés jelenik meg, ha az időtartam meghaladja a konfigurált befejezési időt.
• A futtatás állapota, vagy Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, TerminatedInternal Error, , Timed Out, , Canceled, Cancelingvagy Waiting for Retry.
• A futtatás bármely paramétere.
• Ide kattintva elérheti a futtatás környezetspecifikus műveleteit, például leállíthat egy aktív futtatást, vagy törölhet egy befejezett futtatást.

A futtatások listájában megjelenő oszlopok módosításához kattintson és jelölje ki vagy törölje az oszlopok kijelölését.

Az 5 leggyakoribb hibatípus táblázat a kiválasztott időtartomány leggyakoribb hibatípusainak listáját jeleníti meg, így gyorsan áttekintheti a munkaterületen előforduló feladatproblémák leggyakoribb okait.

A feladatfuttatás részleteinek megtekintéséhez kattintson a futtatás Kezdési idő oszlopában található hivatkozásra. A feladat részleteinek megtekintéséhez kattintson a feladat nevére a Feladat oszlopban.

Feladathoz tartozó életút adatainak megtekintése

Ha a Unity Catalog engedélyezve van a munkaterületen, megtekintheti a unitykatalógus-táblákra vonatkozó részletes információkat a munkafolyamatban. Ha a munkafolyamathoz rendelkezésre állnak a lefutási adatok, megjelenik egy hivatkozás, amely a feladatHoz tartozó Feladat részletei panelen, a feladat futtatásához tartozó Feladatfuttatás részletei panelen vagy a tevékenységfuttatás tevékenységfuttatási részletei paneljén található, a felsőbb és alsóbb rétegbeli táblák számát tartalmazza. Kattintson a hivatkozásra a táblák listájának megjelenítéséhez. Kattintson egy táblára a Katalóguskezelő részletes információinak megtekintéséhez.

Databricks-eszközcsomaggal létrehozott feladat megtekintése és futtatása

Az Azure Databricks Jobs felhasználói felületén megtekintheti és futtathatja a Databricks-eszközcsomag által üzembe helyezett feladatokat. Alapértelmezés szerint ezek a feladatok írásvédettek a Feladatok felhasználói felületén. A köteg által üzembe helyezett feladat szerkesztéséhez módosítsa a csomag konfigurációs fájlját, és telepítse újra a feladatot. A módosítások csak a csomagkonfigurációra való alkalmazása biztosítja, hogy a csomag forrásfájljai mindig rögzítsék az aktuális feladatkonfigurációt.

Ha azonban azonnal módosítania kell egy feladatot, leválaszthatja a feladatot a csomagkonfigurációról, hogy lehetővé tegye a feladatbeállítások szerkesztését a felhasználói felületen. A feladat leválasztásához kattintson a Forrás leválasztása elemre. A Forrás leválasztása párbeszédpanelen kattintson a Leválasztás gombra a megerősítéshez.

A felhasználói felületen végzett feladat módosításai nem lesznek alkalmazva a csomagkonfigurációra. Ha a felhasználói felületen végrehajtott módosításokat a csomagra szeretné alkalmazni, manuálisan kell frissítenie a csomagkonfigurációt. Ha újra szeretné csatlakoztatni a feladatot a csomagkonfigurációhoz, helyezze újra üzembe a feladatot a köteg használatával.

Feladatfuttatási eredmények exportálása

Exportálhatja a jegyzetfüzet futtatási eredményeit és a feladatfuttatási naplókat az összes feladattípushoz.

Jegyzetfüzet-futtatási eredmények exportálása

A feladatfuttatásokat az eredmények exportálásával őrizheti meg. A jegyzetfüzet-feladatok futtatásakor exportálhat egy renderelt jegyzetfüzetet, amely később importálható az Azure Databricks-munkaterületre.

Egyetlen feladattal rendelkező feladat jegyzetfüzet-futtatási eredményeinek exportálása:

1. A feladat részletei lapon kattintson a Futtatás részleteinek megtekintése hivatkozásra a Befejezett futtatások (elmúlt 60 nap) tábla Futtatás oszlopában.
2. Kattintson az Exportálás HTML-be gombra.

Több tevékenységgel rendelkező feladat eredményeinek exportálása a jegyzetfüzetben:

1. A feladat részletei lapon kattintson a Futtatás részleteinek megtekintése hivatkozásra a Befejezett futtatások (elmúlt 60 nap) tábla Futtatás oszlopában.
2. Kattintson az exportálni kívánt jegyzetfüzet-feladatra.
3. Kattintson az Exportálás HTML-be gombra.

Feladatfuttatási naplók exportálása

Exportálhatja a feladatfuttatás naplóit is. Beállíthatja, hogy a feladat automatikusan kézbesítse a naplókat a DBFS-nek a Feladat API-n keresztül. Tekintse meg a new_cluster.cluster_log_conf Feladat API Új feladat létrehozása műveletének (POST /jobs/create) átadott kérelem törzsében található objektumot.