Megosztás a következőn keresztül:


Apache Spark-alkalmazások erőforrás-kihasználtságának monitorozása

Az Erőforrások lap végrehajtói használati gráfja az aktuális Spark-alkalmazás Spark-végrehajtóinak lefoglalását és kihasználtságát jeleníti meg közel valós időben a Spark-végrehajtás során. A gráf interaktív felületet is biztosít, amely lehetővé teszi a Spark-feladatok és feladatok megtekintését, ha egy adott pillanatban futó végrehajtókra kattint. Jelenleg csak a Spark 3.4-es vagy újabb verziója támogatja ezt a funkciót.

Erőforrások lap

Az Erőforrások fülre kattintva négy különböző vonaldiagramot tartalmazó gráfot érhet el, amelyek mindegyike eltérő végrehajtói állapotot ábrázol: Futó, Inaktív, Lefoglaltés Példányok maximális száma.

Képernyőkép a figyelési erőforrás-használatról.

  • futtatása: Ez a Spark-alkalmazás által a Spark-munkák és -feladatok futtatásához használt magok tényleges számát mutatja.

  • Inaktív: Ez azon magok számát jelöli, amelyek elérhetők, de nem használtak a Spark-alkalmazás futása alatt.

  • Lefoglalt: Ez a Spark-alkalmazás működése során lefoglalt processzormagokra vonatkozik.

  • Példányok maximális száma: Ez a Spark-alkalmazáshoz lefoglalható magok maximális számát jelzi.

A szín jelmagyarázatának váltásával jelölje ki vagy törölje a megfelelő gráf kijelölését az erőforrás-kihasználtsági diagramon.

Az erőforrás-kihasználtsági grafikon interaktív. Amikor az egérmutatót a futó végrehajtó magok gráfja fölé viszi, megjelenik a magok összegzése és a megfelelő végrehajtói információk. A futó végrehajtó magvonalának egy pontjára kattintva részletes információk jelennek meg a megfelelő végrehajtóról és feladatról az adott pillanatban, a gráf alján.

Képernyőkép a futó végrehajtói magfoglalás részleteiről.

Jegyzet

Bizonyos esetekben bizonyos időpontokban a feladatok száma meghaladhatja a végrehajtó magok kapacitását (azaz a feladatszámok > összes végrehajtó mag / spark.task.cpus). Várható, hogy egy feladat futóként való megjelölése és a tényleges végrehajtása a végrehajtó magon időbeli eltérést mutathat. Ezért előfordulhat, hogy egyes feladatok futó állapotban vannak, de egyik magon sem dolgoznak aktívan.

A Fabric Spark monitorozás, a Spark-alkalmazások monitorozása és a jegyzetfüzetek kontextuális monitorozása áttekintéséhez lásd a következő forrásokat: