Apache Spark-alkalmazás részletes monitorozása

A Microsoft Fabric segítségével az Apache Spark használatával jegyzetfüzeteket, feladatokat és más típusú alkalmazásokat futtathat a munkaterületen. Ez a cikk bemutatja, hogyan figyelheti az Apache Spark-alkalmazást.

A Spark monitorozási részletes lapját a Hálómonitorozási központból vagy az elem Legutóbbi futtatások paneljén érheti el.

Apache Spark-alkalmazásfeladat megnyitása a legutóbbi futtatások panelről:

• A Spark-feladat definíciója vagy jegyzetfüzetelem helyi menüjében válassza a Legutóbbi futtatás lehetőséget.
• A Legutóbbi futtatások lapon válasszon ki egy feladatot a figyelési részleteinek megnyitásához.

Feladatok lap

A Feladatok lapon megjelenik a kijelölt Spark-alkalmazás feladatfuttatásainak listája. Megtekintheti például a feladatazonosítót, a leírást, az állapotot, a fázisokat, a feladatokat, az időtartamot, a feldolgozott adatokat, az olvasási adatokat, az írott adatokat és a kódrészletet.

• A feladat részleteinek kibontásához vagy összecsukásához kattintson a feladatazonosítóra .
• A Feladat leírására kattintva közvetlenül a Spark felhasználói felületén található feladat- vagy szakaszlapra léphet.
• Kattintson a Kódrészletre a feladathoz kapcsolódó kód megtekintéséhez és másolásához.
• A Szűrés ikonnal (a jobb felső sarokban) szűrheti a feladatokat jegyzetfüzetek szerint, ha nagy egyidejűségi Spark-munkamenetben fut.

Erőforrások lap

Az Erőforrások lapon látható a végrehajtó használati gráfja, amely közel valós időben jeleníti meg a Spark-végrehajtók lefoglalását és kihasználtságát a Spark-végrehajtás során. További részletekért lásd: Apache Spark-alkalmazások erőforrás-kihasználtságának monitorozása.

Összegzés panel

Az alkalmazásfigyelési lapon kattintson a jobb felső sarokban található Tulajdonságok ikonra az összefoglaló panel megnyitásához vagy összecsukásához. Itt megtekintheti az alkalmazás részleteit, többek között a következőket:

Naplók lap

A Naplók lap hozzáférést biztosít a Livy-, Prelaunch- és Illesztőprogram-folyamatok teljes naplóihoz.

• A bal oldali panelen válassza ki a megtekinteni kívánt naplók típusát.
• Keresés kulcsszó vagy szűrési naplók szerint állapot, jegyzetfüzet vagy Lakehouse szerint (magas egyidejűségi munkamenetek esetén).
• Kattintson a Napló letöltése elemre a naplók helyi mentéséhez.

Megjegyzés:

Előfordulhat, hogy a naplók nem érhetők el, ha a feladat várólistára van állítva, vagy ha a fürt létrehozása sikertelen.

Adatok lap

Az Adatok lap lehetővé teszi a bemeneti/kimeneti fájl adatainak másolását vagy letöltését, valamint a fájltulajdonságok megtekintését.

• Navigáláshoz bontsa ki vagy csukja össze a bal oldali panelt.
• Megtekintheti a fájl nevét, formátumát, méretét, forrását és elérési útját.
• Fájlok letöltése, elérési utak másolása vagy tulajdonságok megtekintése közvetlenül.

Elem-pillanatképek lap

Az Elem pillanatképek lapján böngészhet a Spark-alkalmazáshoz társított elemek között, beleértve a jegyzetfüzeteket, a Spark-feladatdefiníciókat és a folyamatokat.

A pillanatképek a következők:

• A jegyzetfüzet kód- és paraméterértékei a végrehajtáskor.
• Spark-feladatdefiníciós beállítások és paraméterek a beküldéskor.

Az Elem pillanatképek lapja lehetővé teszi az Apache Spark-alkalmazáshoz társított elemek tallózását és megtekintését, beleértve a jegyzetfüzeteket, a Spark-feladatdefiníciókat és/vagy a folyamatokat. Az elem-pillanatképek lapon a jegyzetfüzetek végrehajtásakor látható a kód és a paraméterértékek pillanatképe. Emellett megjeleníti az összes beállítás és paraméter pillanatképét a Spark-feladatdefiníciók beküldésekor. Ha az Apache Spark-alkalmazást egy folyamat aktiválja, a kapcsolódó elemlap a megfelelő folyamatot és a Spark-tevékenységet is megjeleníti.

Az Elem pillanatképek lapján a következőt teheti:

• Egy hierarchikus fa kapcsolódó elemeinek tallózása.
• Minden elemhez használja a További műveletek (...) menüt.
• Kattintson egy pillanatképelemre a tartalmának megtekintéséhez.
• A kijelölt elemről a gyökérre való navigálás nyomon követéséhez használjon szélességi elemet.

Diagnosztikai panel

A Diagnosztikai panel valós idejű javaslatokat és hibaelemzést biztosít, amelyeket a Spark Advisor hoz létre. A beépített minták segítségével a Spark Advisor segít elkerülni a gyakori hibákat, elemezni a hibákat, és azonosítani azok kiváltó okait.

Kapcsolódó tartalom

Az Apache Spark-alkalmazások részleteinek megtekintése után közvetlenül a Jegyzetfüzet cella alatt is figyelheti a Spark-feladatok előrehaladását. További információ:

• Jegyzetfüzet környezetfüggő monitorozása és hibakeresése