Monitorování podrobností o aplikaci Apache Spark
Důležité
Microsoft Fabric je v současné době ve verzi PREVIEW. Tyto informace se týkají předběžného vydání produktu, který může být před vydáním podstatně změněn. Společnost Microsoft neposkytuje na zde uvedené informace žádné záruky, ať už vyjádřené nebo předpokládané.
S Microsoft Fabric můžete pomocí Apache Sparku spouštět poznámkové bloky, úlohy a další druhy aplikací ve vašem pracovním prostoru. Tento článek vysvětluje, jak monitorovat aplikaci Apache Spark, abyste mohli sledovat stav nedávného spuštění, problémy a průběh úloh.
Zobrazení aplikací Apache Spark
Všechny aplikace Apache Spark můžete zobrazit z definice úlohy Sparku nebo místní nabídka položky poznámkového bloku zobrazuje možnost posledního spuštění –>Poslední spuštění.
V seznamu aplikací můžete vybrat název aplikace, kterou chcete zobrazit, a na stránce s podrobnostmi o aplikaci můžete zobrazit podrobnosti o aplikaci.
Monitorování stavu aplikace Apache Spark
Otevřete stránku Poslední spuštění v definici poznámkového bloku nebo úlohy Sparku a můžete zobrazit stav aplikace Apache.
- Success
- Ve frontě
- Zastaveno
- Zrušeno
- Neúspěšný
Úlohy
Otevřete úlohu aplikace Apache Spark z místní nabídky definice úlohy Sparku nebo položky poznámkového bloku s možností Poslední spuštění –>Poslední spuštění –> vyberte úlohu na stránce Poslední spuštění.
Na stránce s podrobnostmi monitorování aplikací Apache Spark se na kartě Úlohy zobrazí seznam spuštění úloh. Tady můžete zobrazit podrobnosti o jednotlivých úlohách, včetně ID úlohy, popisu, stavu, fází, úkolů, doby trvání, zpracování, čtení dat, zápisu dat a fragmentu kódu.
- Kliknutím na ID úlohy můžete úlohu rozbalit nebo sbalit.
- Klikněte na popis úlohy a v uživatelském rozhraní Sparku můžete přejít na stránku úlohy nebo fáze.
- Klikněte na fragment kódu úlohy, můžete zkontrolovat a zkopírovat kód související s touto úlohou.
Panel Souhrn
Na stránce Monitorování aplikací Apache Spark klikněte na tlačítko Vlastnosti a otevřete nebo sbalte souhrnný panel. Podrobnosti o této aplikaci můžete zobrazit v části Podrobnosti.
- Stav této aplikace Spark.
- ID této aplikace Spark.
- Celková doba trvání.
- Doba spuštění této aplikace Spark.
- Doba trvání této aplikace Sparku ve frontě
- Livy ID
- Odesílejte tuto aplikaci Spark.
- Odeslat čas pro tuto aplikaci Spark.
- Počet exekutorů.
Protokoly
Na kartě Protokoly můžete zobrazit úplný protokol Livy, Prelaunch a Driver log s různými možnostmi vybranými na levém panelu. Požadované informace protokolu můžete načíst přímo vyhledáním klíčových slov a zobrazením protokolů filtrováním stavu protokolu. Kliknutím na Stáhnout protokol stáhněte informace protokolu do místního prostředí.
Někdy nejsou k dispozici žádné protokoly, například stav úlohy je ve frontě a vytvoření clusteru se nezdařilo.
Živé protokoly jsou k dispozici pouze v případě, že se odeslání aplikace nezdaří a jsou k dispozici také protokoly ovladačů.
Data
Na kartě Data můžete zkopírovat seznam dat ve schránce, stáhnout seznam dat a jednotlivá data a zkontrolovat vlastnosti jednotlivých dat.
- Levý panel je možné rozbalit nebo sbalit.
- V tomto seznamu se zobrazí název, formát čtení, velikost, zdroj a cesta vstupních a výstupních souborů.
- Soubory ve vstupu a výstupu lze stáhnout, zkopírovat cestu a zobrazit vlastnosti.
Související položky
Karta Související položky umožňuje procházet a zobrazovat položky přidružené k aplikaci Apache Spark, včetně poznámkových bloků, definice úloh Sparku a kanálů. Na stránce souvisejících položek se zobrazí snímek hodnot kódu a parametrů v době provádění pro poznámkové bloky. Zobrazuje také snímek všech nastavení a parametrů v době odeslání definic úloh Sparku. Pokud je aplikace Apache Spark přidružená k kanálu, zobrazí se na stránce související položky také odpovídající kanál a aktivita Sparku.
Na obrazovce Související položky můžete:
- Procházejte související položky v hierarchickém stromu a procházejte je.
- Pokud chcete provést jiné akce, klikněte na ikonu se třemi tečky seznam dalších akcí pro každou položku.
- Kliknutím na položku snímku zobrazte její obsah.
- Zobrazte popis cesty, abyste viděli cestu z vybrané položky do kořenového adresáře.
Diagnostika
Diagnostický panel poskytuje uživatelům doporučení v reálném čase a analýzu chyb, které vygeneruje Poradce pro Spark prostřednictvím analýzy kódu uživatele. Díky integrovaným vzorům pomáhá poradce Pro Apache Spark uživatelům vyhnout se běžným chybám a analyzuje selhání, aby identifikoval jejich původní příčinu.
Další kroky
Dalším krokem po zobrazení podrobností aplikace Apache Spark je zobrazení průběhu úlohy Spark pod buňkou Poznámkový blok. Můžete se podívat na: