Zdieľať cez


Monitorovanie podrobností aplikácie Apache Spark

So službou Microsoft Fabric môžete pomocou služby Apache Spark spúšťať notebooky, pracovné miesta a iné druhy aplikácií vo svojom pracovnom priestore. Tento článok vysvetľuje, ako monitorovať aplikáciu Apache Spark, ktorá vám umožňuje sledovať nedávny stav spustenia, problémy a priebeh vašej práce.

Zobrazenie aplikácií Apache Spark

Všetky aplikácie Apache Spark môžete zobraziť z definície úlohy Spark alebo kontextová ponuka poznámkovej položky zobrazuje poslednú možnosť spustenia ->Nedávne spustenia.

Snímka obrazovky zobrazujúca zoznam spustení a podrobnosti o nedávnych spusteniach.

Názov aplikácie, ktorú chcete zobraziť, môžete vybrať v zozname aplikácií. Na stránke s podrobnosťami aplikácie môžete zobraziť podrobnosti o aplikácii.

Monitorovanie stavu aplikácie Apache Spark

Otvorte stránku Nedávne spustenia notebooku alebo definíciu úlohy služby Spark, môžete zobraziť stav aplikácie Apache.

  • Úspech

Snímka obrazovky znázorňujúca miesto, kde sa zobrazuje úspešný stav.

  • Vo fronte

Snímka obrazovky znázorňujúca miesto, kde sa zobrazuje stav frontu.

  • Zastavené

Snímka obrazovky zobrazujúca stav Zastavené.

  • Zrušená

Snímka obrazovky znázorňujúca miesto, kde sa zobrazuje zrušený stav.

  • Zlyhané

Snímka obrazovky znázorňujúca miesto, kde sa zobrazuje stav Neúspešné.

Úlohy

Otvorte úlohu aplikácie Apache Spark z kontextovej ponuky úlohy Spark alebo pomocou kontextovej ponuky poznámkovej položky zobrazíte možnosť Nedávne spustenie –>Nedávne spustenia –> vyberte úlohu na stránke posledných spustení.

Na stránke s podrobnosťami o monitorovaní aplikácií Apache Spark sa zoznam spustení úloh zobrazuje na karte Jobs (Úlohy), tu môžete zobraziť podrobnosti o jednotlivých úlohách vrátane ID úlohy, Popisu, stavu, fáz, úloh, trvania, spracovania, čítania údajov, zapísania údajov a úryvku kódu.

  • Kliknutím na položku Job ID (ID úlohy) môžete úlohu rozbaliť alebo zbaliť.
  • Kliknite na popis úloh, môžete prejsť na stránku s úlohou alebo fázou v používateľskom rozhraní iste.
  • Kliknite na úryvok kódu úlohy, môžete skontrolovať a skopírovať kód súvisiaci s touto úlohou.

Snímka obrazovky zobrazujúca úlohy.

Zdroje (Preview)

Graf používania vykonávateľa vizuálne zobrazuje alokovanie vykonávateľov úloh služby Spark a využitie zdrojov. Táto funkcia sa momentálne zobrazuje iba informácia o režime runtime 3.4 alebo vyššiu. Vyberte položku Zdroje (Ukážka) a potom sa navrhujú štyri typy krivky používania vykonávateľa vrátane spustených, idled, vyhradených a maximálnych inštancií.

Snímka obrazovky znázorňujúca monitorovanie používania zdrojov.

  • Pri vyhradení sa odkazuje na základnú situáciu, ktorá je vyhradená počas spúšťania aplikácie Spark.

  • V prípade maximálnych inštancií odkazuje na maximálny počet jadier vyhradených pre aplikáciu Spark.

  • Pri spustení odkazuje na skutočný počet jadier používaných aplikáciou Spark, keď je spustená. Klikajte v určitom čase, kým je spustená aplikácia spark. V dolnej časti grafu nájdete podrobnosti o spustení spustiteľného spustiteľného jadra.

    Snímka obrazovky znázorňujúca podrobnosti o spustení spustiteľného súboru vyhradenia.

  • V prípade hodnoty Idled ide o počet nepoužitých jadier počas spustenia aplikácie Spark.

V niektorých prípadoch môže počet úloh v niektorých časových bodoch prekročiť kapacitu jadier spustiteľných programov (t. j. čísla > úloh celkový počet jadier spustiteľného súboru/spark.task.cpus). Je to podľa očakávania, pretože medzi úlohou označenou ako spustená je časová medzera a spustenie prebieha v jadre spustiteľného súboru. Niektoré úlohy sa preto môžu zobrazovať ako spustené, ale nespúšťajú sa v žiadnom jadre.

Vyberte ikonu farby, ak chcete vybrať alebo zrušiť výber príslušného obsahu vo všetkých grafoch.

Snímka obrazovky zobrazujúca výber grafu

Panel súhrnu

Na stránke monitorovania aplikácie Apache Spark kliknite na tlačidlo Vlastnosti , čím otvoríte alebo zbalíte panel súhrnu. Podrobnosti pre túto aplikáciu nájdete v podrobnostiach.

  • Stav tejto aplikácie spark.
  • ID tejto aplikácie Spark.
  • Celkové trvanie.
  • Trvanie spustenia pre túto aplikáciu spark.
  • Trvanie frontu pre túto aplikáciu spark.
  • Livy ID
  • Odosielateľ tejto aplikácie spark.
  • Odošlite čas pre túto aplikáciu spark.
  • Počet vykonávateľov.

Snímka obrazovky znázorňujúca súhrn pre aplikáciu spark.

Denníky

Na karte Denníky môžete zobraziť úplný denník Livy, Prelaunch, Denník vodiča s rôznymi možnosťami vybratými na ľavom paneli. Požadované informácie z denníka môžete načítať priamo prehľadávaním kľúčových slov a zobrazením denníkov filtrovaním stavu denníka. Kliknutím na položku Stiahnuť denník stiahnete informácie z denníka do miestneho súboru.

Niekedy nie sú k dispozícii žiadne denníky, napríklad stav úlohy vo fronte a vytvorenie klastra zlyhalo.

Dynamické denníky sú k dispozícii len v prípade zlyhania odoslania aplikácie a k dispozícii sú aj denníky ovládačov.

Snímka obrazovky zobrazujúca denníky aplikácie spark.

Údaje

Na karte Údaje môžete skopírovať zoznam údajov v Schránke, stiahnuť zoznam údajov a jednotlivé údaje a skontrolovať vlastnosti jednotlivých údajov.

  • Ľavý panel je možné rozbaliť alebo zbaliť.
  • Názov, formát čítania, veľkosť, zdroj a cesta vstupných a výstupných súborov sa zobrazia v tomto zozname.
  • Vstupné a výstupné súbory je možné stiahnuť, skopírovať vlastnosti cesty a zobraziť.

Snímka obrazovky zobrazujúca údaje pre aplikáciu Spark.

Karta Related items (Súvisiace položky ) umožňuje prehľadávať a zobrazovať položky súvisiace s aplikáciou Apache Spark vrátane poznámkových blokov, definície úloh služby Spark a/alebo kanálov. Stránka so súvisiacimi položkami zobrazuje snímku hodnôt kódu a parametrov v čase vykonávania pre poznámkové bloky. Zobrazuje tiež snímku všetkých nastavení a parametrov v čase odoslania definícií úloh služby Spark. Ak je aplikácia Apache Spark priradená ku kanálu, stránka súvisiacej položky tiež predstavuje zodpovedajúci kanál a aktivitu Spark.

Na obrazovke Súvisiace položky môžete:

  • Prehľadávajte a prechádzajte súvisiacimi položkami v hierarchickom strome.
  • Kliknutím na ikonu troch bodiek v zozname ďalších akcií pri každej položke môžete vykonať rôzne akcie.
  • Kliknutím na položku snímky zobrazíte jej obsah.
  • Pozrite si popis cesty, čím zobrazíte cestu z vybratej položky do koreňového adresára.

Snímka obrazovky zobrazujúca súvisiace položky pre aplikáciu Spark.

Diagnostika

Diagnostický panel poskytuje používateľom odporúčania v reálnom čase a analýzu chýb, ktoré vygeneruje nástroj Spark Advisor prostredníctvom analýzy kódu používateľa. Pomocou vstavaných vzorov poradca pre Apache Spark Advisor pomáha používateľom vyhnúť sa bežným chybám a analyzuje zlyhania na identifikáciu ich hlavnej príčiny.

Snímka obrazovky znázorňujúca diagnostiku pre aplikáciu spark.

Ďalším krokom po zobrazení podrobností o aplikácii Apache Spark je zobraziť priebeh práce v službe Spark pod bunkou notebooku. Môžete odkazovať na: