Apache Spark-alkalmazás részletes monitorozása

A Microsoft Fabric segítségével az Apache Spark használatával jegyzetfüzeteket, feladatokat és más típusú alkalmazásokat futtathat a munkaterületen. Ez a cikk bemutatja, hogyan figyelheti az Apache Spark-alkalmazást, így figyelemmel kísérheti a feladatok legutóbbi futtatási állapotát, problémáit és előrehaladását.

Apache Spark-alkalmazások megtekintése

Megtekintheti az összes Apache Spark-alkalmazást a Spark-feladatdefinícióból, vagy a jegyzetfüzetelem helyi menüjében a legutóbbi futtatási lehetőség látható –> Legutóbbi futtatások.

Kiválaszthatja a megtekinteni kívánt alkalmazás nevét az alkalmazáslistában, az Alkalmazás részletei lapon pedig megtekintheti az alkalmazás részleteit.

Az Apache Spark-alkalmazás állapotának monitorozása

Nyissa meg a jegyzetfüzet Legutóbbi futtatások lapját vagy a Spark-feladatdefiníciót, és megtekintheti az Apache-alkalmazás állapotát.

• Sikeres művelet

• Feldolgozási sorban

• Leállítva

• Canceled

• Failed

Feladatok

Nyisson meg egy Apache Spark-alkalmazásfeladatot a Spark-feladat definíciójának vagy jegyzetfüzetelem helyi menüjének Legutóbbi futtatás lehetőségével –> Legutóbbi futtatások –> válasszon ki egy feladatot a legutóbbi futtatások lapon.

Az Apache Spark alkalmazás figyelési adatainak lapján a feladatfuttatások listája megjelenik a Feladatok lapon, itt megtekintheti az egyes feladatok részleteit, beleértve a feladatazonosítót, a leírást, az állapotot, a fázisokat, a feladatokat, az időtartamot, a feldolgozott adatokat, az adatolvasást, az írott adatokat és a kódrészletet.

• A feladatazonosítóra kattintva kibonthatja vagy összecsukhatja a feladatot.
• Kattintson a feladat leírására, és a Spark felhasználói felületén a feladatra vagy a szakaszlapra ugorhat.
• Kattintson a feladat Kódrészletére, és ellenőrizheti és másolhatja a feladathoz kapcsolódó kódot.

Erőforrások (előzetes verzió)

A végrehajtó használati gráfja vizuálisan megjeleníti a Spark-feladatok végrehajtóinak lefoglalását és az erőforrás-használatot. Jelenleg csak a Spark 3.4 vagy újabb futtatókörnyezeti információi jelenítik meg ezt a funkciót. Válassza az Erőforrások (előzetes verzió) lehetőséget, majd a rendszer négy típusú görbét készít a végrehajtók használatáról, köztük futtatás, üresjárat, lefoglalt, maximális példányok.

• A Lefoglalt érték a Spark-alkalmazás futtatása során lefoglalt alapvető helyzetre vonatkozik.

• A Maximális példányok esetében a Spark-alkalmazáshoz lefoglalt magok maximális számát jelenti.

• Futtatás esetén a Spark-alkalmazás által a futtatáskor használt magok tényleges számát jelenti. Kattintson egy adott időpontra, amíg a Spark-alkalmazás fut. A futó végrehajtói magfoglalás részleteit a gráf alján láthatja.

  

• Üresjárat esetén a Spark-alkalmazás futtatása közben a nem használt magok száma.

Bizonyos esetekben a feladatok száma bizonyos esetekben meghaladhatja a végrehajtó magok kapacitását (azaz a feladatszámok > összes végrehajtó magja / spark.task.cpus). Ez a vártnak megfelelően történik, mert van időbeli eltérés a futtatásként megjelölt tevékenységek között, és valójában egy végrehajtó magon fut. Előfordulhat tehát, hogy egyes feladatok futnak, de magon nem futnak.

Válassza a szín ikont a megfelelő tartalom kijelöléséhez vagy kijelölésének megszüntetéséhez az összes gráfban.

Összegzés panel

Az Apache Spark-alkalmazás figyelési lapján kattintson a Tulajdonságok gombra az összefoglaló panel megnyitásához/összecsukásához. Az alkalmazás részleteit a Részletek területen tekintheti meg.

• A spark-alkalmazás állapota.
• Ez a Spark-alkalmazás azonosítója.
• Teljes időtartam.
• A spark-alkalmazás futási időtartama.
• A spark-alkalmazás várólistára helyezett időtartama.
• Livy-azonosító
• A Spark-alkalmazás beküldője.
• A Spark-alkalmazás beküldésének ideje.
• Végrehajtók száma.

Logs

A Naplók lapon megtekintheti a Livy, Prelaunch, Driver log teljes naplóját a bal oldali panelen különböző beállításokkal. A szükséges naplóadatokat pedig közvetlenül lekérheti kulcsszavak keresésével és a naplók megtekintésével a napló állapotának szűrésével. A Napló letöltése gombra kattintva töltse le a napló adatait a helyibe.

Néha nem érhetők el naplók, például a feladat állapota várólistára kerül, és a fürt létrehozása sikertelen.

Élő naplók csak akkor érhetők el, ha az alkalmazásbeküldés sikertelen, és az illesztőprogram-naplók is meg vannak adva.

Adat

Az Adatok lapon vágólapra másolhatja az adatlistát, letöltheti az adatlistát és az egyetlen adatot, és ellenőrizheti az egyes adatok tulajdonságait.

• A bal oldali panel kibontható vagy összecsukható.
• A bemeneti és kimeneti fájlok neve, olvasási formátuma, mérete, forrása és elérési útja jelenik meg ebben a listában.
• A bemeneti és kimeneti fájlok letölthetők, az elérési út másolása és a tulajdonságok megtekintése.

Kapcsolódó elemek

A Kapcsolódó elemek lapon tallózhat és megtekintheti az Apache Spark-alkalmazáshoz társított elemeket, beleértve a jegyzetfüzeteket, a Spark-feladatdefiníciókat és/vagy a folyamatokat. A kapcsolódó elemek lap megjeleníti a kód és a paraméterértékek pillanatképét a jegyzetfüzetek végrehajtásakor. Emellett megjeleníti az összes beállítás és paraméter pillanatképét a Spark-feladatdefiníciók beküldésekor. Ha az Apache Spark-alkalmazás egy folyamathoz van társítva, a kapcsolódó elemoldal a megfelelő folyamatot és a Spark-tevékenységet is megjeleníti.

A Kapcsolódó elemek képernyőn a következőkre van lehetőség:

• Tallózással navigálhat a hierarchikus fa kapcsolódó elemei között.
• Kattintson a "További műveletek listája" három pontra az egyes elemeknél a különböző műveletek elvégzéséhez.
• Kattintson a pillanatképelemre a tartalmának megtekintéséhez.
• A Breadcrumbban megtekintheti a kijelölt elemtől a gyökérig vezető útvonalat.

Diagnosztika

A diagnosztikai panel valós idejű javaslatokat és hibaelemzést biztosít a felhasználóknak, amelyeket a Spark Advisor a felhasználó kódjának elemzésével hoz létre. A beépített minták segítségével az Apache Spark Advisor segít a felhasználóknak elkerülni a gyakori hibákat, és elemezni a hibákat a kiváltó ok azonosításához.

Kapcsolódó tartalom

Az Apache Spark-alkalmazások adatainak megtekintése után a következő lépés a Spark-feladatok előrehaladásának megtekintése a Jegyzetfüzet cella alatt. Az alábbiakra lehet hivatkozni:

• Jegyzetfüzet környezetfüggő monitorozása és hibakeresése