Költség- és teljesítményproblémák diagnosztizálása a Spark felhasználói felületén
Ez az útmutató bemutatja, hogyan használhatja a Spark felhasználói felületét a költség- és teljesítményproblémák diagnosztizálásához. Ez egy részletes útmutató, és gyakorlati útmutató. Ahelyett, hogy csupán magyarázatot ad a Spark felhasználói felületén található egyes lapokra, azt jelzi, hogy mit kell keresnie, és mit jelent. Ha nem ismeri az illesztőprogramok, a feldolgozók, a végrehajtók, a szakaszok és a feladatok fogalmait, érdemes lehet áttekinteni a Spark-architektúrát.
Ha a különböző optimalizálási eszközök átfogó listáját keresi, használja a Databricks optimalizálási útmutatóját. Az optimalizálási útmutató szakaszaira ebben a Spark felhasználói felületi útmutatóban hivatkozunk.
Az útmutató használata
Az útmutatóban való navigáláshoz használja az egyes oldalakba ágyazott hivatkozásokat a következő lépéshez. Az útmutató a következő lépéseket tartalmazza sorrendben:
- A feladatok ütemtervének használata a főbb problémák azonosításához
- Tekintse meg a leghosszabb szakaszt
- Ferdeség vagy kiömlés keresése
- Annak meghatározása, hogy a leghosszabb szakasz I/O-hez van-e kötve
- A lassú fázisú futtatókörnyezet egyéb okainak keresése
Lássunk hozzá!
A Spark felhasználói felületének megnyitása
Lépjen a fürt lapjára:
Kattintson a Spark felhasználói felületére:
Következő lépés
Most, hogy megnyitotta a Spark felhasználói felületét, tekintse át az esemény ütemtervét, és tudjon meg többet a folyamatról vagy a lekérdezésről. Lásd: Feladatok ütemterve.