Az Apache Spark-alkalmazások figyelése a Synapse Studio használatával

A Azure Synapse Analytics segítségével az Apache Spark használatával jegyzetfüzeteket, feladatokat és más típusú alkalmazásokat futtathat a munkaterület Apache Spark-készleteiben.

Ez a cikk ismerteti, hogyan monitorozhatja az Apache Spark-alkalmazásokat a legfrissebb állapot, a problémák és az előrehaladás figyeléséhez.

Apache Spark-alkalmazások megtekintése

Az összes Apache Spark-alkalmazást megtekintheti a Monitor ->Apache Spark-alkalmazásokból.

Befejezett Apache Spark-alkalmazások megtekintése

Nyissa meg a Monitort, majd válassza az Apache Spark-alkalmazások lehetőséget. A befejezett Apache Spark-alkalmazások részleteinek megtekintéséhez válassza ki az Apache Spark-alkalmazást.

1. Ellenőrizze a Befejezett tevékenységek, az Állapot és a Teljes időtartamot.

2. Frissítse a feladatot.

3. Az összehasonlítási funkció használatához kattintson az Alkalmazások összehasonlítása lehetőségre. Erről a funkcióról az Apache Spark-alkalmazások összehasonlítása című témakörben talál további információt.

4. Kattintson a Spark-előzménykiszolgálóra az Előzménykiszolgáló lap megnyitásához.

5. Tekintse meg az Összefoglaló adatokat.

6. Ellenőrizze a diagnosztikát a Diagnosztika lapon.

7. Ellenőrizze a naplókat. A Livy-, a Prelaunch- és az Illesztőprogram-naplók teljes naplóját a legördülő listában különböző lehetőségek kiválasztásával tekintheti meg. A szükséges naplóadatokat pedig közvetlenül is lekérheti kulcsszavak keresésével. A Napló letöltése gombra kattintva töltse le a naplóadatokat a helyire, és jelölje be a Hibák és figyelmeztetések szűrése jelölőnégyzetet a szükséges hibák és figyelmeztetések szűréséhez.

8. A feladat áttekintését a létrehozott feladatdiagramon tekintheti meg. Alapértelmezés szerint a grafikon az összes feladatot megjeleníti. Ezt a nézetet a feladatazonosító alapján szűrheti.

9. Alapértelmezés szerint a Folyamat megjelenítés van kiválasztva. Az adatfolyamot a Nézet legördülő listában azOlvasási///időtartam elemet választva ellenőrizheti.

10. A feladat visszajátszásához kattintson a Lejátszás gombra. A leállításhoz bármikor rákattinthat a Leállítás gombra.

11. A görgetősáv segítségével nagyíthatja és kicsinyítheti a feladatdiagramot, a Nagyítás a méretre lehetőség kiválasztásával is elfér a képernyőn.

12. A feladatgráf csomópont az egyes fázisok alábbi adatait jeleníti meg:

    • Feladatazonosító

    • Tevékenység száma

    • Időtartam

    • Sorok száma

    • Olvasási adatok: a bemeneti méret és az elegyítési olvasási méret összege

    • Megírt adatok: a kimeneti méret és az elosztási írási méret összege

    • Szakasz száma

      

13. Vigye az egérmutatót egy feladat fölé, és a feladat részletei megjelennek az elemleírásban:

    • A feladat állapotának ikonja: Ha a feladat állapota sikeres, zöld "√" jelenik meg; ha a feladat hibát észlel, sárga "!"

    • Feladatazonosító

    • Általános rész:

      • Előrehaladás
      • Időtartam
      • Tevékenységek teljes száma

    • Adatrész:

      • Sorok teljes száma
      • Olvasási méret
      • Írott méret

    • Ferde rész:

      • Egyenetlen adateloszlás
      • Időeltérés

    • Szakasz száma

      

14. Kattintson a Szakaszszám elemre a feladatban található összes szakasz kibontásához. Kattintson a Feladatazonosító melletti Összecsukás gombra a feladat összes szakaszának összecsukásához.

15. Kattintson a Részletek megtekintése szakaszdiagramon elemre, majd megjelenik egy szakasz részletei.

    

Az Apache Spark-alkalmazások állapotának monitorozása

Nyissa meg a Monitort, majd válassza az Apache Spark-alkalmazások lehetőséget. A futó Apache Spark-alkalmazások részleteinek megtekintéséhez válassza ki a beküldött Apache Spark-alkalmazást. Ha az Apache Spark-alkalmazás továbbra is fut, figyelheti az előrehaladást.

1. Ellenőrizze a Befejezett tevékenységek, az Állapot és a Teljes időtartamot.

2. Az Apache Spark-alkalmazás megszakítása.

3. Frissítse a feladatot.

4. Kattintson a Spark felhasználói felületére a Spark-feladat lap megjelenítéséhez.

5. Feladatdiagram, Összegzés, Diagnosztika, Naplók. A feladat áttekintését a létrehozott feladatdiagramon tekintheti meg. Tekintse meg a befejezett Apache Spark-alkalmazások megtekintésének 5–15. lépését.

Megszakított Apache Spark-alkalmazások megtekintése

Nyissa meg a Monitort, majd válassza az Apache Spark-alkalmazások lehetőséget. A lemondott Apache Spark-alkalmazások részleteinek megtekintéséhez válassza ki az Apache Spark-alkalmazást.

1. Ellenőrizze a Befejezett tevékenységek, az Állapot és a Teljes időtartamot.

2. Frissítse a feladatot.

3. Az összehasonlítási funkció használatához kattintson az Alkalmazások összehasonlítása lehetőségre. Erről a funkcióról az Apache Spark-alkalmazások összehasonlítása című témakörben talál további információt.

4. Nyissa meg az Apache előzménykiszolgáló hivatkozását a Spark-előzménykiszolgálóra kattintva.

5. A gráf megtekintése. A feladat áttekintését a létrehozott feladatdiagramon tekintheti meg. Tekintse meg a befejezett Apache Spark-alkalmazások megtekintésének 5–15. lépését.

Sikertelen Apache Spark-alkalmazás hibakeresése

Nyissa meg a Monitort, majd válassza az Apache Spark-alkalmazások lehetőséget. A sikertelen Apache Spark-alkalmazások részleteinek megtekintéséhez válassza ki az Apache Spark-alkalmazást.

1. Ellenőrizze a Befejezett tevékenységek, az Állapot és a Teljes időtartamot.

2. Frissítse a feladatot.

3. Az összehasonlítási funkció használatához kattintson az Alkalmazások összehasonlítása lehetőségre. Erről a funkcióról az Apache Spark-alkalmazások összehasonlítása című témakörben talál további információt.

4. Nyissa meg az Apache előzménykiszolgáló hivatkozását a Spark-előzménykiszolgálóra kattintva.

5. A gráf megtekintése. A feladat áttekintését a létrehozott feladatdiagramon tekintheti meg. Tekintse meg a befejezett Apache Spark-alkalmazások megtekintésének 5–15. lépését.

Bemeneti adatok/kimeneti adatok megtekintése

Válasszon ki egy Apache Spark-alkalmazást, és kattintson a Bemeneti adatok/Kimeneti adatok fülre az Apache Spark-alkalmazás bemenetének és kimenetének dátumainak megtekintéséhez. Ez a függvény segíthet a Spark-feladat hibakeresésében. Az adatforrás pedig három tárolási módszert támogat: gen1, gen2 és blob.

Bemeneti adatok lap

1. Kattintson a Bevitel másolása gombra a bemeneti fájl helyi fájlba való beillesztéséhez.

2. Kattintson az Exportálás CSV-be gombra a bemeneti fájl CSV formátumban való exportálásához.

3. A keresőmezőbe beviteli kulcsszavakkal kereshet fájlokat (a kulcsszavak közé tartozik a fájlnév, az olvasási formátum és az elérési út).

4. A bemeneti fájlokat a Név, az Olvasási formátum és az Elérési út elemre kattintva rendezheti.

5. Az egérrel vigye az egérmutatót egy bemeneti fájl fölé, ekkor megjelenik a Letöltés/Másolás útvonal/Egyebek gomb ikonja.

6. Kattintson az Egyebek gombra. Az Elérési út másolása/Megjelenítés intézőben/Tulajdonságok a helyi menüben jelenik meg.

   

   • Elérési út másolása: a teljes ésa relatív elérési utat is átmásolhatja.

   • Megjelenítés az Explorerben: a csatolt tárfiókra ugorhat (Data-Linked>).

   • Tulajdonságok: a fájl alapvető tulajdonságainak megjelenítése (Fájlnév/Fájl elérési útja/Olvasási formátum/Méret/Módosítás).

     

Kimeneti adatok lap

Ugyanazokat a funkciókat jeleníti meg, mint a beviteli lapon.

Apache Spark-alkalmazások összehasonlítása

Az alkalmazások összehasonlításának két módja van. Összehasonlításhoz válassza az Alkalmazás összehasonlítása lehetőséget, vagy kattintson a Összehasonlítása a jegyzetfüzetben gombra a jegyzetfüzetben való megtekintéséhez.

Összehasonlítás alkalmazás szerint

Kattintson az Alkalmazások összehasonlítása gombra, és válasszon ki egy alkalmazást a teljesítmény összehasonlításához. Láthatja a két alkalmazás közötti különbséget.

1. Az egérrel rámutathat egy alkalmazásra, majd megjelenik az Alkalmazások összehasonlítása ikon.

2. Kattintson az Alkalmazások összehasonlítása ikonra, és megjelenik az Alkalmazások összehasonlítása lap.

3. Kattintson az Alkalmazás kiválasztása gombra az Összehasonlítási alkalmazás kiválasztása lap megnyitásához.

4. Az összehasonlító alkalmazás kiválasztásakor meg kell adnia az alkalmazás URL-címét, vagy választania kell az ismétlődő listából. Ezután kattintson az OK gombra.

   

5. Az összehasonlítási eredmény az alkalmazások összehasonlítása oldalon jelenik meg.

   

Összehasonlítás jegyzetfüzetben

A jegyzetfüzet megnyitásához kattintson a Compare in Notebook (Összehasonlítás a jegyzetfüzetben ) gombra az Alkalmazások összehasonlítása lapon. Az .ipynb fájl alapértelmezett neve a Recurrent Application Analytics.

A Jegyzetfüzet: Ismétlődő Application Analytics-fájlban közvetlenül futtathatja a Spark-készlet és a nyelv beállítása után.

Következő lépések

A folyamatfuttatások monitorozásáról további információt a Folyamatfuttatások figyelése Synapse Studio használatával című cikkben talál.