Lakeflow-feladatok figyelése

A Azure Databricks felhasználói felületén megtekintheti azokat a feladatokat, amelyekhez hozzáférése van, tallózhat az egyes feladatok futtatási előzményei között, és megvizsgálhatja az egyes feladatfuttatások részleteit. A feladatok értesítéseinek konfigurálásához lásd: Értesítések hozzáadása feladathoz.

A Databricks parancssori felület használatával a feladatok megtekintéséhez és futtatásához futtassa a databricks jobs list -h, databricks jobs get -hés databricks jobs run-now -h parancsokat. A Jobs API használatáról a Jobs API-t tekintheti meg.

Ha rendelkezik hozzáféréssel a system.lakeflow sémához, megtekintheti és lekérdezheti a feladatfuttatások és feladatok rekordjait a fiókon keresztül. Lásd: Munkák rendszertábla-referenciája. Csatlakoztathatja a feladat rendszertáblákat a számlázási táblákhoz is, így nyomon követheti a feladatok költségeit a fiókján belül. Lásd: Feladatköltségek monitorozása & teljesítmény monitorozása rendszertáblákkal.

Feladatok és folyamatok megtekintése

A kattintva megtekintheti azoknak a feladatoknak a listáját, amelyekhez hozzáféréssel rendelkezik.Feladatok > Folyamatok az oldalsávon. A Lakeflow-feladatok felhasználói felületén a Feladatok > folyamatok lap az összes elérhető feladatról és folyamatról, például a létrehozóról, az eseményindítóról (ha van ilyen) és az utolsó öt futtatás eredményéről tartalmaz információkat.

A listában megjelenő oszlopok módosításához kattintson az , és jelölje ki vagy törölje az oszlopok kijelölését.

Fontos

Az egyesített feladatok és folyamatok listája nyilvános előzetes verzióban érhető el. Letilthatja a funkciót, és visszatérhet az alapértelmezett felületre a feladatok és folyamatok letiltásával: egyesített felügyelet, keresés és szűrés. További információt az Azure Databricks előzetes verziójának kezelése című témakörben talál.

Az alábbi képernyőképen látható módon szűrheti a feladatokat a Feladatok > folyamatok listában.

1. Szöveges keresés: a kulcsszókeresés támogatott a Név és a Feladatazonosító mezők esetében. Egy kulccsal és értékkel létrehozott címke kereséséhez a kulcs, az érték vagy a kulcs és az érték alapján is kereshet. Például a department kulccsal és finance értékkel rendelkező címkék esetében kereshet department vagy finance segítségével az egyező feladatokat. A kulcs és az érték alapján történő kereséshez írja be a kulcsot és az értéket kettősponttal elválasztva (például department:finance).
2. Típus: csak a feladatokat, folyamatokat vagy az összeset válassza ki.
3. Tulajdonos: csak a tulajdonában lévő feladatokat vagy folyamatokat válassza ki.
4. Kedvencek: jelölje ki az összes feladatot vagy folyamatot, amelyet kedvencként jelölt meg.
5. Címkék: Címkék használata. Címkék alapján történő kereséshez a címkék legördülő menüjével egyszerre legfeljebb öt címkére szűrhet, vagy közvetlenül használhatja a kulcsszókeresést.
6. Futtatás: Szűrés legfeljebb két run as érték alapján.

Feladat vagy folyamat indításához kattintson a . Munkafolyamat leállításához kattintson az gombra. Más műveletek eléréséhez kattintson a kebab menü Törölheti például egy folyamat munkafolyamatát vagy hozzáférési beállításait ebből a menüből.

A legutóbbi futtatások megtekintése az összes feladatban és folyamatban

Megtekintheti az Ön által elérhető munkaterület összes feladatának és folyamatának futó és nemrégiben befejezett futtatási listáját, beleértve a külső vezénylési eszközök, például az Apache Airflow vagy Azure Data Factory által indított futtatásokat is. A legutóbbi futtatások listájának megtekintéséhez:

1. Kattintson Feladatok > Folyamatok az oldalsávon.
2. A Futtatások fülre kattintva megjelenítheti a Befejezett futtatások száma gráfot, valamint a feladat- és folyamatfuttatások listáját.
3. (Nem kötelező) Kattintson a Feladatok vagy folyamatok elemre a lista típus szerinti szűréséhez.

A futtatási lista a felül található szűrési lehetőségeket, a legutóbb befejezett futtatások grafikonját és az 5 leggyakoribb hibát, valamint a legutóbb befejezett futtatások listáját tartalmazza.

Szűrhet a következők szerint:

• A feladat vagy folyamat neve.
• Minden, feladatkör vagy folyamatlánc.
• Folyamat típusa (ETL, Betöltés, MV/ST vagy Adatbázistábla szinkronizálása).
• A Felhasználóként futtatás.
• Futtatásazonosító egy adott futtatás megkereséséhez.
• A futtatás kezdési ideje (az elmúlt 48 órában).
• A Futtatás állapota.
• A sikertelen futtatások hibakódja .

A szűrők a gráfra, a hibakódokra és a futtatások listájára vonatkoznak.

Megjegyzés

A Jobs API runs/submit végponton keresztül beküldött futtatások, beleértve az Apache Airflow DatabricksSubmitRunOperator rendszerből származó futtatásokat is, egyszeri futtatások, amelyekhez nem tartozik mentett feladat. Mivel ezek a futtatások nem rendelkeznek társított feladattal, nem találja őket a feladatnév szűrésével. Szűrjön inkább Futtatási azonosító, Futtatás másként vagy Kezdési időpont szerint. A névkeresésekben és az újrapróbálkozások támogatásában megjelenő tartós feladatok létrehozásához hozzon létre egy feladatot, majd futtassa azt ahelyett, hogy használna runs/submit.

Befejeződött a futtatások számának grafikonja

A Kész futtatások száma grafikon az elmúlt 48 órában befejezett futtatások számát mutatja. A diagram alapértelmezés szerint a sikertelen, kihagyott és sikeres futtatásokat jeleníti meg. Szűrheti a gráfot is, hogy konkrét futtatási állapotokat jelenítsen meg, vagy a gráfot egy adott időtartományra korlátozza.

Megjegyzés

A Befejezett futtatások száma grafikon csak akkor jelenik meg, ha a Jobokra vagy a Folyamatokra szűr. Nem jelenik meg, ha az Összes ki van jelölve. A grafikon a rendszergazdák számára az összes futtatáshoz megjelenik. Nem rendszergazdák esetén a Futtatás másként gombra kell kattintania, és ki kell jelölnie engem.

A Futtatások lap tetején lévő szűrők a gráfra vonatkoznak.

A Kész futtatások száma gráfban megjelenített időtartomány korlátozásához adjon meg egy időtartományt a szűrőben. Másik lehetőségként a kurzort a gráfon húzva kijelölheti az időtartományt. A grafikon és a futtatások táblázata frissül, hogy csak a megadott időtartományon belüli futtatásokat jelenítse meg.

Az 5 leggyakoribb hibatípus táblázat a kiválasztott időtartomány leggyakoribb hibatípusait jeleníti meg, így gyorsan áttekintheti a munkaterületen előforduló problémák leggyakoribb okait.

futtatások listája

A Futtatások lap egy feladat- és folyamatfuttatási táblázatot is tartalmaz az elmúlt 60 napból. Azure Databricks 60 napig megőrzi a futtatási előzményeket mind a feladatok, mind a folyamatok esetében. Alapértelmezés szerint a tábla a sikertelen, kihagyott és sikeres futtatások részleteit tartalmazza.

A Futtatások lap tetején lévő szűrők a listára alkalmazandók.

Alapértelmezés szerint a futtatások listája a futtatás táblában a következőket jeleníti meg:

• A futtatás kezdő időpontja.
• A futtatáshoz társított feladat vagy folyamat neve.
• A futtatás típusa (feladat vagy folyamat).
• A felhasználónév, amellyel a futtatás történik.
• Mi váltotta ki a futtatásokat (elindítva): ütemezést, API-kérést vagy manuális indítást.
• Egy futó feladat vagy folyamatlánc esetében eltelt idő, illetve egy befejezett futás teljes futási ideje. A felhasználói felület figyelmeztetést jelenít meg, ha az időtartam meghaladja a konfigurált befejezési időt.
• A futtatás állapota: Várólistán, Függőben, Folyamatban, Kihagyva, Sikeres, Sikeres hibákkal, Sikertelen, Időtúllépés miatt leállt, Megszakítás folyamatban vagy Megszakítva.
• Minden olyan hibakód, amellyel a futtatás leállt.
• A futtatás bármely paramétere.
• Futó feladat vagy folyamat leállításához kattintson a leállítás gombra. A futtatási műveletek megnyitásához kattintson a (például egy aktív futtatás leállításához vagy egy befejezett futtatás törléséhez).

A futtatások listájában megjelenő oszlopok módosításához kattintson az majd jelölje ki vagy törölje az oszlopokat.

A feladatfuttatás részleteinek megtekintéséhez kattintson a futtatás Kezdési idő oszlopában található hivatkozásra. A feladat vagy a folyamat részleteinek megtekintéséhez kattintson a Feladat oszlop nevére.

Nézet egyetlen feladathoz fut

Megtekintheti a jelenleg futó és a közelmúltban befejezett futtatások listáját egy olyan feladathoz, amelyhez hozzáféréssel rendelkezik, beleértve a külső vezénylési eszközök, például az Apache Airflow vagy az Azure Data Factory által indított futtatásokat is. A legutóbbi feladatfuttatások listájának megtekintése:

1. Az Azure Databricks-munkaterület oldalsávján kattintson a Feladatok > Folyamatok elemre.

2. Ha szeretné, válassza ki a Feladatok és a Saját tulajdonú szűrőket.

3. Kattintson a munka nevére.

   A Futtatások lap az aktív és befejezett futtatások mátrix- és listanézeteivel jelenik meg.

A mátrixnézet a feladat futtatásának előzményeit jeleníti meg, beleértve az egyes feladatokat is.

A mátrix Futtatási teljes időtartam sora megjeleníti a futtatás teljes időtartamát és a futtatás állapotát. A futtatás részleteinek megtekintéséhez, beleértve a kezdési időt, az időtartamot és az állapotot, mutasson az egérmutatóra a Futtatás teljes időtartama sorban.

A Tevékenységek sor minden celláját egy tevékenység és a tevékenység megfelelő állapota jelöli. Ha meg szeretné tekinteni az egyes feladatok részleteit, beleértve a kezdési időt, az időtartamot, a fürtöt és az állapotot, vigye az egérmutatót az adott feladat cellájára.

A munka- és feladatfuttatási sávok színkódoltan jelzik a futtatás állapotát. A sikeres futások zöldek. A sikertelen futtatások pirosak, a kihagyott futtatások rózsaszínek, az újrapróbálkozásra való várakozás pedig sárga. A függőben lévő, megszakított vagy időtúllépési idő szürke. Az egyes munkafolyamat-futtatási és feladatfuttatási sávok magassága vizuálisan jelzi a futtatás időtartamát.

Ha konfigurálta a várt befejezési időt, a mátrix nézet figyelmeztetést jelenít meg, ha a futtatás időtartama meghaladja a konfigurált időt.

Alapértelmezés szerint a futtatások listanézete a következőket jeleníti meg:

• A futtatás kezdő időpontja.
• A futtatás azonosítója. A futtatási URL-cím megkereséséhez és megosztásához tekintse meg a feladat futtatásának URL-címét és azonosítóját .
• Függetlenül attól, hogy a futtatás feladatütemezés vagy API-kérés által lett-e aktiválva, vagy manuálisan indult el.
• Egy jelenleg futó feladat eltelt ideje vagy egy befejezett futtatás teljes futási ideje. Figyelmeztetés jelenik meg, ha az időtartam meghaladja a konfigurált befejezési időt.
• A futtatás állapota, amely a következők egyike lehet: Várólistán, Függőben, Fut, Kihagyva, Sikeres, Sikeres, de hibákkal, Sikertelen, Időtúllépett, Megszakítás folyamatban vagy Megszakítva.
• Az a hibakód, amellyel a futtatás leállt.
• A futtatási paraméterek.

Az aktuálisan aktív futtatások leállítás gombot jelenítenek meg. Az összes aktív és várólistás futtatás leállításához válassza a Futtatások megszakítása vagy a Az összes várólistás futtatás megszakítása lehetőséget a legördülő menüből.

A futtatás környezetspecifikus műveleteinek eléréséhez kattintson a (például egy aktív futtatás leállításához vagy egy befejezett futtatás törléséhez).

A futtatáslista nézetben megjelenő oszlopok módosításához kattintson és jelölje ki vagy törölje az oszlopok kijelölését.

A feladatfuttatás részleteinek megtekintéséhez kattintson a futtatás hivatkozására a Futtatáslista nézetben a Kezdési idő oszlopban. A feladat legutóbbi sikeres futtatásának részleteinek megtekintéséhez kattintson az Ugrás a legutóbbi sikeres futtatásra elemre.

Az Azure Databricks akár 60 napig is megőrzi a feladat futtatásának előzményeit. Ha meg kell őriznie a feladatfuttatásokat, a Databricks azt javasolja, hogy a lejárat előtt exportálja az eredményeket. További információ: Feladatfuttatási eredmények exportálása.

Feladatfuttatás részleteinek megtekintése

A feladatfuttatás részletei lap a feladat kimenetét és a naplókra mutató hivatkozásokat tartalmazza, beleértve a feladatfuttatás egyes feladatainak sikerességével vagy sikertelenségével kapcsolatos információkat. A feladat futtatási adatait a feladat Futtatások lapján érheti el.

A feladatok futtatási részleteinek megtekintéséhez a Futtatások lapon kattintson a futtatás hivatkozására a Futtatáslista nézetben a Kezdési időpont oszlopban. A feladat Futtatások lapjára való visszatéréshez kattintson a Feladatazonosító értékre.

A több tevékenységgel rendelkező feladatok gráf-, idővonal- és listanézettel is rendelkeznek.

Gráfnézet

Kattintson a gráf egy feladatára a feladat végrehajtási részleteinek megtekintéséhez, beleértve a következőket:

• A tevékenység részletei, beleértve a futtatás módját, a feladat indításának módját, a kezdési időpontot, a befejezési időt, az időtartamot és az állapotot.
• A forráskód.
• A feladatot futtató fürt, amely a lekérdezési előzményekre és naplókra hivatkozik.
• A tevékenység metrikái.

Ütemterv nézet

A több feladatot tartalmazó feladatok ütemterv nézete lehetővé tette a feladatok azonosítását, a függőségek és az átfedések megértését a feladatok hibakereséséhez és optimalizálásához.

Kiszolgáló nélküli feladatok esetén a lekérdezések és a lekérdezési profilok integrálva vannak az ütemterv nézetbe. A feladat neve melletti nyílra kattintva megtekintheti a lekérdezési utasításokat és azok időtartamait, majd egy utasításra kattintva keresse meg a megfelelő lekérdezési profilt. Lásd: A feladatfuttatások lekérdezési adatainak megtekintése.

Lista nézet

A listanézet alapértelmezés szerint az állapotot, a nevet, a típust, az erőforrást, az időtartamot és a függőségeket jeleníti meg. Ebben a nézetben oszlopokat vehet fel és távolíthat el.

Kereshet egy tevékenységet név alapján, szűrhet tevékenységállapot vagy tevékenységtípus szerint, és állapot, név vagy időtartam szerint rendezheti a tevékenységeket.

Kattintson a Feladatazonosító értékre, hogy visszatérjen a feladat Futtatások lapjára.

A fázislebontás megtekintésével megtekintheti a futtatás során töltött időt, és azt, hogy mit tehet annak csökkentése érdekében. Lásd a futtatás fázis szerinti lebontásának megtekintése című témakört.

Hogyan határozza meg a Azure Databricks a feladatfuttatás állapotát?

Az Azure Databricks a feladat levélfeladatainak eredménye alapján határozza meg, hogy egy feladat futtatása sikeres volt-e. A levélfeladat olyan tevékenység, amely nem rendelkezik alárendelt függőségekkel. A feladatfuttatások a következő eredmények egyikével járhatnak:

• Sikeres: Minden tevékenység sikeres volt.
• Sikerült néhány hibával: Egyes tevékenységek sikertelenek voltak, de az összes levélfeladat sikeres volt.
• Sikertelen: Egy vagy több levél típusú feladat meghiúsult.
• Kihagyva: A feladatfuttatás ki lett hagyva (például kihagyhat egy feladatot, mert túllépte a feladat vagy a munkaterület egyidejű futtatásának maximális futását).
• Időtúllépés: A feladat futtatása túl sokáig tartott, és időtúllépés történt.
• Megszakítva: A feladatfuttatás megszakadt (például egy felhasználó manuálisan törölte a folyamatban lévő futtatásokat).

Az egyes tevékenységek akkor is leállhatnak egy Disabled állapottal, ha ön kifejezetten letiltja őket a feladatbeállításokban, vagy ha a Lakeflow-feladatok letiltják őket futtatáskor, mert egy felsőbb rétegbeli tevékenység le van tiltva. A letiltott feladatok egy a DAG jobb felső sarkában. Tekintse meg a Lakeflow-feladatok letiltott feladatait.

Feladatok teljesítménymetrikáinak megtekintése

A streamelési tevékenységmetrikák és a kiszolgáló nélküli lekérdezési teljesítménymetrikák a többi feladatteljesítmény-eszközzel vannak dokumentálva. Lásd : A Lakeflow-feladatok teljesítményének diagnosztizálása.

Tevékenységfuttatási előzmények megtekintése

Egy feladat futtatási előzményeinek megtekintése, beleértve a sikeres és sikertelen futtatásokat is:

1. Kattintson egy feladatra a Feladatfuttatás részletei lapon. Megjelenik a Feladatfuttatás részletei lap.
2. Válassza ki a feladatfuttatást a futtatási előzmények legördülő menüben.

Tevékenység futtatási előzményeinek megtekintése egy For each tevékenységhez

Egy For each tevékenység futtatási előzményeinek elérése ugyanaz, mint egy standard Lakeflow-feladat esetében. A For each oldalon rákattinthat a feladatcsomópontra vagy a megfelelő cellára a mátrix nézetben. A szokásos tevékenységekkel ellentétben azonban a For each tevékenységek futtatási részletei a beágyazott tevékenység iterációinak táblázataként jelennek meg.

Ha csak a sikertelen iterációkat szeretné megtekinteni, kattintson a Csak a sikertelen iterációk elemre.

Az iteráció kimenetének megtekintéséhez kattintson az iteráció kezdési vagybefejezési idő értékeire.

Feladathoz tartozó életút adatainak megtekintése

Ha a Unity Catalog engedélyezve van a munkaterületen, megtekintheti a munkafolyamatban található Unity Catalog táblák leszármazási információit. Ha a munkafolyamatához rendelkezésre állnak leszármazási adatok, megjelenik egy hivatkozás az upstream és downstream táblák számával a feladathoz tartozó Feladat részletei panelen, egy feladatfuttatáshoz tartozó Feladatfuttatás részletei panelen, illetve egy tevékenységfuttatáshoz tartozó Tevékenységfuttatás részletei panelen. Kattintson a hivatkozásra a táblák listájának megjelenítéséhez. Kattintson egy táblára a Katalóguskezelő részletes információinak megtekintéséhez.

Deklaratív automation-kötegekkel létrehozott feladat megtekintése és futtatása

A Lakeflow-feladatok felhasználói felületén megtekintheti és futtathatja a Deklaratív Automation-csomagok által üzembe helyezett feladatokat. Alapértelmezés szerint ezek a feladatok írásvédettek a Feladatok felhasználói felületén. A köteg által üzembe helyezett feladat szerkesztéséhez módosítsa a csomag konfigurációs fájlját, és telepítse újra a feladatot. A módosítások csak a csomagkonfigurációra való alkalmazása biztosítja, hogy a csomag forrásfájljai mindig rögzítsék az aktuális feladatkonfigurációt.

Ha azonban azonnal módosítania kell egy feladatot, leválaszthatja a feladatot a csomagkonfigurációról, hogy lehetővé tegye a feladatbeállítások szerkesztését a felhasználói felületen. A feladat leválasztásához kattintson a Forrás leválasztása elemre. A Forrás leválasztása párbeszédpanelen kattintson a Leválasztás gombra a megerősítéshez.

A felhasználói felületen végzett feladat módosításai nem lesznek alkalmazva a csomagkonfigurációra. Ha a felhasználói felületen végrehajtott módosításokat a csomagra szeretné alkalmazni, manuálisan kell frissítenie a csomagkonfigurációt. Ha újra szeretné csatlakoztatni a feladatot a csomagkonfigurációhoz, helyezze újra üzembe a feladatot a köteg használatával.

Feladatfuttatási eredmények exportálása

Exportálhatja a jegyzetfüzet futtatási eredményeit és a feladatfuttatási naplókat az összes feladattípushoz.

Jegyzetfüzet futtatás eredményeinek exportálása

A feladatfuttatásokat az eredmények exportálásával őrizheti meg. A jegyzetfüzet-feladatok futtatásakor exportálhategy renderelt jegyzetfüzetet, amely később importálható az Azure Databricks-munkaterületre.

Egyetlen feladatból álló munka jegyzetfüzet-futtatási eredményeinek exportálása:

1. A feladat részletei lapon kattintson a Futtatás részleteinek megtekintése hivatkozásra a Befejezett futtatások (elmúlt 60 nap) tábla Futtatás oszlopában.
2. Kattintson az Exportálás HTML-be gombra.

Több tevékenységgel rendelkező feladat eredményeinek exportálása a jegyzetfüzetben:

1. A feladat részletei lapon kattintson a Futtatás részleteinek megtekintése hivatkozásra a Befejezett futtatások (elmúlt 60 nap) tábla Futtatás oszlopában.
2. Kattintson az exportálni kívánt jegyzetfüzet-feladatra.
3. Kattintson az Exportálás HTML-be gombra.

Feladatfuttatási naplók exportálása

Exportálhatja a feladatfuttatás naplóit is. Beállíthatja, hogy a feladat automatikusan kézbesítse a naplókat a DBFS-nek a feladatok számítási konfigurálása során (lásd számítási konfigurációs referencia) vagy a Feladat API-n keresztül. Tekintse meg a new_cluster.cluster_log_conf objektumot a Hozzon létre egy új feladatot művelet (POST /jobs/create) kérelmi törzsében a Jobs API-ben.