Monitorování aplikací Apache Spark pomocí Synapse Studio

S Azure Synapse Analytics můžete pomocí Apache Sparku spouštět poznámkové bloky, úlohy a další druhy aplikací ve fondech Apache Sparku ve vašem pracovním prostoru.

Tento článek vysvětluje, jak monitorovat aplikace Apache Sparku, abyste mohli sledovat nejnovější stav, problémy a průběh.

Zobrazení aplikací Apache Spark

Všechny aplikace Apache Spark můžete zobrazit v části Monitorování>aplikací Apache Spark.

Zobrazení dokončených aplikací Apache Spark

Otevřete Monitor a pak vyberte Aplikace Apache Spark. Pokud chcete zobrazit podrobnosti o dokončených aplikacích Apache Spark, vyberte aplikaci Apache Spark.

1. Zkontrolujte Dokončené úkoly, Stav a Celkovou dobu trvání.

2. Aktualizujte úlohu.

3. Pokud chcete použít funkci porovnání, klikněte na Porovnat aplikace . Další informace o této funkci najdete v tématu Porovnání aplikací Apache Spark.

4. Kliknutím na Server historie Sparku otevřete stránku Server historie.

5. Podívejte se na souhrnné informace.

6. Zkontrolujte diagnostiku na kartě Diagnostika .

7. Zkontrolujte protokoly. Úplný protokol Livy, Prelaunch a Driver můžete zobrazit výběrem různých možností v rozevíracím seznamu. Požadované informace protokolu můžete načíst přímo vyhledáváním klíčových slov. Kliknutím na Stáhnout protokol stáhněte informace protokolu do místního prostředí a zaškrtněte políčko Filtrovat chyby a upozornění , aby se vyfiltrují chyby a upozornění, které potřebujete.

8. Přehled úlohy si můžete prohlédnout ve vygenerovaném grafu úloh. Ve výchozím nastavení graf zobrazuje všechny úlohy. Toto zobrazení můžete filtrovat podle ID úlohy.

9. Ve výchozím nastavení je vybráno zobrazení Průběhu . Tok dat můžete zkontrolovat tak, že v rozevíracím seznamu Zobrazení vyberete Průběh/čtení/– Doba zápisu/.

10. Pokud chcete úlohu přehrát, klikněte na tlačítko Přehrávání . Pokud chcete zastavit, můžete kdykoli kliknout na tlačítko Zastavit .

11. Pomocí posuvníku můžete graf úlohy přiblížit a oddálit. Můžete také vybrat Možnost Přizpůsobit a přizpůsobit tak, aby se přizpůsobil obrazovce.

12. V uzlu grafu úlohy se zobrazí následující informace o jednotlivých fázích:

    • ID úlohy

    • Číslo úkolu

    • Doba trvání

    • Row count

    • Čtení dat: součet velikosti vstupu a velikosti čtení náhodného prohazování

    • Zapsaná data: součet výstupní velikosti a velikosti zápisu náhodného prohazování

    • Číslo fáze

      

13. Najeďte myší na úlohu a podrobnosti o úloze se zobrazí v popisu:

    • Ikona stavu úlohy: Pokud je stav úlohy úspěšný, zobrazí se jako zelená "√"; Pokud úloha zjistí problém, zobrazí se žlutá "!"

    • ID úlohy

    • Obecná část:

      • Průběh
      • Doba trvání
      • Celkový počet úkolů

    • Datová část:

      • Celkový počet řádků
      • Velikost čtení
      • Zapsaná velikost

    • Zkosená část:

      • Nerovnoměrná distribuce dat
      • Časová nerovnoměrná distribuce

    • Číslo fáze

      

14. Kliknutím na číslo fáze rozbalte všechny fáze obsažené v úloze. Kliknutím na Sbalit vedle ID úlohy sbalte všechny fáze úlohy.

15. Klikněte na Zobrazit podrobnosti v grafu fáze a zobrazí se podrobnosti fáze.

    

Monitorování průběhu aplikace Apache Spark

Otevřete Monitor a pak vyberte Aplikace Apache Spark. Pokud chcete zobrazit podrobnosti o spuštěných aplikacích Apache Spark, vyberte odeslanou aplikaci Apache Spark. Pokud je aplikace Apache Spark stále spuštěná, můžete průběh monitorovat.

1. Zkontrolujte Dokončené úkoly, Stav a Celkovou dobu trvání.

2. Zrušte aplikaci Apache Spark.

3. Aktualizujte úlohu.

4. Kliknutím na tlačítko Uživatelské rozhraní Sparku přejděte na stránku Úlohy Sparku.

5. Pro graf úloh, souhrn, diagnostiku, protokoly. Přehled úlohy si můžete prohlédnout ve vygenerovaném grafu úloh. Projděte si kroky 5 až 15 v tématu Zobrazení dokončených aplikací Apache Spark.

Zobrazení zrušených aplikací Apache Spark

Otevřete Monitor a pak vyberte Aplikace Apache Spark. Pokud chcete zobrazit podrobnosti o zrušených aplikacích Apache Spark, vyberte aplikaci Apache Spark.

1. Zkontrolujte Dokončené úkoly, Stav a Celkovou dobu trvání.

2. Aktualizujte úlohu.

3. Pokud chcete použít funkci porovnání, klikněte na Porovnat aplikace . Další informace o této funkci najdete v tématu Porovnání aplikací Apache Spark.

4. Kliknutím na server historie Sparku otevřete odkaz na server historie Apache.

5. Zobrazte graf. Přehled úlohy si můžete prohlédnout ve vygenerovaném grafu úloh. Projděte si kroky 5 až 15 v tématu Zobrazení dokončených aplikací Apache Spark.

Ladění neúspěšné aplikace Apache Spark

Otevřete Monitor a pak vyberte Aplikace Apache Spark. Pokud chcete zobrazit podrobnosti o neúspěšných aplikacích Apache Spark, vyberte aplikaci Apache Spark.

1. Zkontrolujte Dokončené úkoly, Stav a Celkovou dobu trvání.

2. Aktualizujte úlohu.

3. Pokud chcete použít funkci porovnání, klikněte na Porovnat aplikace . Další informace o této funkci najdete v tématu Porovnání aplikací Apache Spark.

4. Kliknutím na server historie Sparku otevřete odkaz na server historie Apache.

5. Zobrazte graf. Přehled úlohy si můžete prohlédnout ve vygenerovaném grafu úloh. Projděte si kroky 5 až 15 v tématu Zobrazení dokončených aplikací Apache Spark.

Zobrazení vstupních nebo výstupních dat

Vyberte aplikaci Apache Spark a kliknutím na kartu Vstupní data nebo Výstupní data zobrazte data vstupu a výstupu pro aplikaci Apache Spark. Tato funkce vám může pomoct s laděním úlohy Sparku. A zdroj dat podporuje tři metody úložiště: gen1, gen2 a objekt blob.

Karta Vstupní data

1. Kliknutím na tlačítko Kopírovat vstup vložte vstupní soubor do místního umístění.

2. Kliknutím na tlačítko Exportovat do souboru CSV exportujte vstupní soubor ve formátu CSV.

3. V vyhledávacím poli můžete soubory hledat podle vstupních klíčových slov (klíčová slova zahrnují název souboru, formát čtení a cestu).

4. Vstupní soubory můžete seřadit kliknutím na Název, Formát čtení a cestu.

5. Najeďte myší na vstupní soubor. Zobrazí se ikona tlačítka Stáhnout, kopírovat cestu nebo Další .

6. Klikněte na tlačítko Další . V místní nabídce se zobrazí možnost Kopírovat cestu/Zobrazit v průzkumníku/Vlastnosti .

   

   • Kopírovat cestu: může kopírovat úplnou cestu a relativní cestu.

   • Zobrazit v průzkumníkovi: může přejít na propojený účet úložiště (Data-Linked>).

   • Vlastnosti: Zobrazí základní vlastnosti souboru (Název souboru/ Cesta k souboru/Formát pro čtení/Velikost/Změněno).

     

Karta Výstupní data

Zobrazí stejné funkce jako vstupní karta.

Porovnání aplikací Apache Spark

Existují dva způsoby, jak porovnat aplikace. Porovnání můžete porovnat tak, že vyberete Porovnat aplikaci nebo kliknete na tlačítko Porovnat v poznámkovém bloku a zobrazíte ho v poznámkovém bloku.

Porovnat podle aplikace

Klikněte na tlačítko Porovnat aplikace a vyberte aplikaci pro porovnání výkonu. Můžete vidět rozdíl mezi těmito dvěma aplikacemi.

1. Najeďte myší na aplikaci a pak se zobrazí ikona Porovnat aplikace .

2. Klikněte na ikonu Porovnat aplikace a zobrazí se stránka Porovnat aplikace.

3. Kliknutím na tlačítko Zvolit aplikaci otevřete stránku Zvolit aplikaci porovnání .

4. Při výběru porovnávací aplikace musíte buď zadat adresu URL aplikace, nebo vybrat z opakovaného seznamu. Potom klikněte na tlačítko OK .

   

5. Výsledek porovnání se zobrazí na stránce porovnání aplikací.

   

Porovnání v poznámkovém bloku

Kliknutím na tlačítko Porovnat v poznámkovém bloku na stránce Porovnat aplikace otevřete poznámkový blok. Výchozí název souboru .ipynb je Opakovaná analýza aplikací.

V souboru Poznámkový blok: Opakovaná analýza aplikací ho můžete spustit přímo po nastavení fondu Sparku a jazyka.

Další kroky

Další informace o monitorování spuštění kanálů najdete v článku Monitorování spuštění kanálu pomocí Synapse Studio.