Apache Spark-alkalmazás részleteinek monitorozása
Fontos
A Microsoft Fabric jelenleg előzetes verzióban érhető el. Ezek az információk egy előzetes termékre vonatkoznak, amely a kiadás előtt lényegesen módosulhat. A Microsoft nem vállal kifejezett vagy vélelmezett garanciát az itt megadott információkra vonatkozóan.
A Microsoft Fabric segítségével az Apache Spark használatával jegyzetfüzeteket, feladatokat és más típusú alkalmazásokat futtathat a munkaterületen. Ez a cikk bemutatja, hogyan figyelheti az Apache Spark-alkalmazást, így nyomon követheti a feladatok legutóbbi futtatási állapotát, problémáit és előrehaladását.
Apache Spark-alkalmazások megtekintése
Az összes Apache Spark-alkalmazást megtekintheti a Spark-feladatdefinícióból, vagy a jegyzetfüzetelem helyi menüjében a Legutóbbi futtatások lehetőség> látható.
Kiválaszthatja a megtekinteni kívánt alkalmazás nevét az alkalmazáslistában, az Alkalmazás részletei lapon pedig megtekintheti az alkalmazás részleteit.
Az Apache Spark-alkalmazás állapotának monitorozása
Nyissa meg a jegyzetfüzet Legutóbbi futtatások lapját vagy a Spark-feladat definícióját, és megtekintheti az Apache-alkalmazás állapotát.
- Siker
- Várólistán
- Leállítva
- Megszakítva
- Sikertelen
Feladatok
Nyisson meg egy Apache Spark-alkalmazásfeladatot a Spark-feladat definíciójából vagy a jegyzetfüzetelem helyi menüjéből, és a Legutóbbi futtatás lehetőség jelenik meg –>Legutóbbi futtatások –> válasszon ki egy feladatot a legutóbbi futtatások lapon.
Az Apache Spark-alkalmazás monitorozásának részletei oldalon a feladatfuttatások listája megjelenik a Feladatok lapon, itt megtekintheti az egyes feladatok részleteit, beleértve a feladatazonosítót, a leírást, az állapotot, a fázisokat, a feladatokat, az időtartamot, a feldolgozott adatokat, az adatolvasást, az írott adatokat és a kódrészletet.
- A Feladatazonosító elemre kattintva kibonthatja/összecsukhatja a feladatot.
- Kattintson a feladat leírására, és a Spark felhasználói felületén ugorjon a feladatra vagy a szakaszlapra.
- Kattintson a feladat Kódrészletére, és ellenőrizheti és másolhatja a feladathoz kapcsolódó kódot.
Összegzés panel
Az Apache Spark alkalmazásmonitorozási oldalán kattintson a Tulajdonságok gombra az összefoglaló panel megnyitásához/összecsukásához. Az alkalmazás részleteit a Részletek területen tekintheti meg.
- A Spark-alkalmazás állapota.
- A Spark-alkalmazás azonosítója.
- Teljes időtartam.
- A Spark-alkalmazás futási időtartama.
- A Spark-alkalmazás várólistára helyezett időtartama.
- Livy-azonosító
- A Spark-alkalmazás beküldője.
- Küldjön be időt a Spark-alkalmazásnak.
- Végrehajtók száma.
Naplók
A Naplók lapon megtekintheti a Livy, Prelaunch, Driver log teljes naplóját a bal oldali panelen kiválasztott különböző beállításokkal. A szükséges naplóadatokat pedig közvetlenül lekérheti kulcsszavak keresésével és a naplók megtekintésével a napló állapotának szűrésével. Kattintson a Napló letöltése gombra a naplóadatok helyire való letöltéséhez.
Néha nem érhetők el naplók, például a feladat állapota várólistára kerül, és a fürt létrehozása sikertelen.
Az élő naplók csak akkor érhetők el, ha az alkalmazás beküldése sikertelen, és az illesztőprogram-naplók is meg vannak adva.
Adatok
Az Adatok lapon vágólapra másolhatja az adatlistát, letöltheti az adatlistát és az egyes adatokat, és ellenőrizheti az egyes adatok tulajdonságait.
- A bal oldali panel kibontható vagy összecsukható.
- A bemeneti és kimeneti fájlok neve, olvasási formátuma, mérete, forrása és elérési útja megjelenik ebben a listában.
- A bemeneti és kimeneti fájlok letölthetők, az elérési út másolása és a tulajdonságok megtekintése.
Kapcsolódó elemek
A Kapcsolódó elemek lapon tallózhat és megtekintheti az Apache Spark-alkalmazáshoz társított elemeket, beleértve a jegyzetfüzeteket, a Spark-feladatdefiníciókat és/vagy a folyamatokat. A kapcsolódó elemek lap megjeleníti a kód- és paraméterértékek pillanatképét a jegyzetfüzetek végrehajtásakor. Emellett az összes beállítás és paraméter pillanatképét is megjeleníti a Spark-feladatdefiníciók beküldésekor. Ha az Apache Spark-alkalmazás egy folyamathoz van társítva, a kapcsolódó elemoldal a megfelelő folyamatot és a Spark-tevékenységet is megjeleníti.
A Kapcsolódó elemek képernyőn a következőket teheti:
- Tallózással navigálhat a kapcsolódó elemek között a hierarchikus fában.
- Kattintson a "További műveletek listája" három pontra az egyes elemeknél a különböző műveletek elvégzéséhez.
- Kattintson a pillanatképelemre a tartalmának megtekintéséhez.
- Tekintse meg a Breadcrumb elemet a kijelölt elemtől a gyökérig vezető útvonal megtekintéséhez.
Diagnosztika
A diagnosztikai panel valós idejű javaslatokat és hibaelemzést biztosít a felhasználóknak, amelyeket a Spark Advisor a felhasználó kódjának elemzésével hoz létre. A beépített mintákkal az Apache Spark Advisor segít a felhasználóknak elkerülni a gyakori hibákat, és elemezni a hibákat a kiváltó ok azonosításához.
Következő lépések
Az Apache Spark-alkalmazások részleteinek megtekintése után a következő lépés a Spark-feladatok előrehaladásának megtekintése a jegyzetfüzetcella alatt. Az alábbiakra hivatkozhat: