Monitorovanie podrobností aplikácie Apache Spark
So službou Microsoft Fabric môžete pomocou služby Apache Spark spúšťať notebooky, pracovné miesta a iné druhy aplikácií vo svojom pracovnom priestore. Tento článok vysvetľuje, ako monitorovať aplikáciu Apache Spark, ktorá vám umožňuje sledovať nedávny stav spustenia, problémy a priebeh vašej práce.
Zobrazenie aplikácií Apache Spark
Všetky aplikácie Apache Spark môžete zobraziť z definície úlohy Spark alebo kontextová ponuka poznámkovej položky zobrazuje poslednú možnosť spustenia ->Nedávne spustenia.
Názov aplikácie, ktorú chcete zobraziť, môžete vybrať v zozname aplikácií. Na stránke s podrobnosťami aplikácie môžete zobraziť podrobnosti o aplikácii.
Monitorovanie stavu aplikácie Apache Spark
Otvorte stránku Nedávne spustenia notebooku alebo definíciu úlohy služby Spark, môžete zobraziť stav aplikácie Apache.
- Úspech
- Vo fronte
- Zastavené
- Zrušená
- Zlyhané
Úlohy
Otvorte úlohu aplikácie Apache Spark z kontextovej ponuky úlohy Spark alebo pomocou kontextovej ponuky poznámkovej položky zobrazíte možnosť Nedávne spustenie –>Nedávne spustenia –> vyberte úlohu na stránke posledných spustení.
Na stránke s podrobnosťami o monitorovaní aplikácií Apache Spark sa zoznam spustení úloh zobrazuje na karte Jobs (Úlohy), tu môžete zobraziť podrobnosti o jednotlivých úlohách vrátane ID úlohy, Popisu, stavu, fáz, úloh, trvania, spracovania, čítania údajov, zapísania údajov a úryvku kódu.
- Kliknutím na položku Job ID (ID úlohy) môžete úlohu rozbaliť alebo zbaliť.
- Kliknite na popis úloh, môžete prejsť na stránku s úlohou alebo fázou v používateľskom rozhraní iste.
- Kliknite na úryvok kódu úlohy, môžete skontrolovať a skopírovať kód súvisiaci s touto úlohou.
Zdroje (Preview)
Graf používania vykonávateľa vizuálne zobrazuje alokovanie vykonávateľov úloh služby Spark a využitie zdrojov. Táto funkcia sa momentálne zobrazuje iba informácia o režime runtime 3.4 alebo vyššiu. Vyberte položku Zdroje (Ukážka) a potom sa navrhujú štyri typy krivky používania vykonávateľa vrátane spustených, idled, vyhradených a maximálnych inštancií.
Pri vyhradení sa odkazuje na základnú situáciu, ktorá je vyhradená počas spúšťania aplikácie Spark.
V prípade maximálnych inštancií odkazuje na maximálny počet jadier vyhradených pre aplikáciu Spark.
Pri spustení odkazuje na skutočný počet jadier používaných aplikáciou Spark, keď je spustená. Klikajte v určitom čase, kým je spustená aplikácia spark. V dolnej časti grafu nájdete podrobnosti o spustení spustiteľného spustiteľného jadra.
V prípade hodnoty Idled ide o počet nepoužitých jadier počas spustenia aplikácie Spark.
V niektorých prípadoch môže počet úloh v niektorých časových bodoch prekročiť kapacitu jadier spustiteľných programov (t. j. čísla > úloh celkový počet jadier spustiteľného súboru/spark.task.cpus). Je to podľa očakávania, pretože medzi úlohou označenou ako spustená je časová medzera a spustenie prebieha v jadre spustiteľného súboru. Niektoré úlohy sa preto môžu zobrazovať ako spustené, ale nespúšťajú sa v žiadnom jadre.
Vyberte ikonu farby, ak chcete vybrať alebo zrušiť výber príslušného obsahu vo všetkých grafoch.
Panel súhrnu
Na stránke monitorovania aplikácie Apache Spark kliknite na tlačidlo Vlastnosti , čím otvoríte alebo zbalíte panel súhrnu. Podrobnosti pre túto aplikáciu nájdete v podrobnostiach.
- Stav tejto aplikácie spark.
- ID tejto aplikácie Spark.
- Celkové trvanie.
- Trvanie spustenia pre túto aplikáciu spark.
- Trvanie frontu pre túto aplikáciu spark.
- Livy ID
- Odosielateľ tejto aplikácie spark.
- Odošlite čas pre túto aplikáciu spark.
- Počet vykonávateľov.
Denníky
Na karte Denníky môžete zobraziť úplný denník Livy, Prelaunch, Denník vodiča s rôznymi možnosťami vybratými na ľavom paneli. Požadované informácie z denníka môžete načítať priamo prehľadávaním kľúčových slov a zobrazením denníkov filtrovaním stavu denníka. Kliknutím na položku Stiahnuť denník stiahnete informácie z denníka do miestneho súboru.
Niekedy nie sú k dispozícii žiadne denníky, napríklad stav úlohy vo fronte a vytvorenie klastra zlyhalo.
Dynamické denníky sú k dispozícii len v prípade zlyhania odoslania aplikácie a k dispozícii sú aj denníky ovládačov.
Údaje
Na karte Údaje môžete skopírovať zoznam údajov v Schránke, stiahnuť zoznam údajov a jednotlivé údaje a skontrolovať vlastnosti jednotlivých údajov.
- Ľavý panel je možné rozbaliť alebo zbaliť.
- Názov, formát čítania, veľkosť, zdroj a cesta vstupných a výstupných súborov sa zobrazia v tomto zozname.
- Vstupné a výstupné súbory je možné stiahnuť, skopírovať vlastnosti cesty a zobraziť.
Súvisiace položky
Karta Related items (Súvisiace položky ) umožňuje prehľadávať a zobrazovať položky súvisiace s aplikáciou Apache Spark vrátane poznámkových blokov, definície úloh služby Spark a/alebo kanálov. Stránka so súvisiacimi položkami zobrazuje snímku hodnôt kódu a parametrov v čase vykonávania pre poznámkové bloky. Zobrazuje tiež snímku všetkých nastavení a parametrov v čase odoslania definícií úloh služby Spark. Ak je aplikácia Apache Spark priradená ku kanálu, stránka súvisiacej položky tiež predstavuje zodpovedajúci kanál a aktivitu Spark.
Na obrazovke Súvisiace položky môžete:
- Prehľadávajte a prechádzajte súvisiacimi položkami v hierarchickom strome.
- Kliknutím na ikonu troch bodiek v zozname ďalších akcií pri každej položke môžete vykonať rôzne akcie.
- Kliknutím na položku snímky zobrazíte jej obsah.
- Pozrite si popis cesty, čím zobrazíte cestu z vybratej položky do koreňového adresára.
Diagnostika
Diagnostický panel poskytuje používateľom odporúčania v reálnom čase a analýzu chýb, ktoré vygeneruje nástroj Spark Advisor prostredníctvom analýzy kódu používateľa. Pomocou vstavaných vzorov poradca pre Apache Spark Advisor pomáha používateľom vyhnúť sa bežným chybám a analyzuje zlyhania na identifikáciu ich hlavnej príčiny.
Súvisiaci obsah
Ďalším krokom po zobrazení podrobností o aplikácii Apache Spark je zobraziť priebeh práce v službe Spark pod bunkou notebooku. Môžete odkazovať na: