Delen via

Bewaking van apache Spark-toepassingsgegevens

  • Artikel

Met Microsoft Fabric kunt u Apache Spark gebruiken om notebooks, taken en andere soorten toepassingen in uw werkruimte uit te voeren. In dit artikel wordt uitgelegd hoe u uw Apache Spark-toepassing bewaakt, zodat u de recente uitvoeringsstatus, problemen en voortgang van uw taken in de gaten kunt houden.

Apache Spark-toepassingen weergeven

U kunt alle Apache Spark-toepassingen bekijken vanuit de Spark-taakdefinitie of het contextmenu voor notitieblokitems toont de recente uitvoeringsoptie ->Recente uitvoeringen.

Schermopname van de lijst met recente uitvoeringen en details.

U kunt de naam selecteren van de toepassing die u wilt weergeven in de lijst met toepassingen. Op de pagina met toepassingsgegevens kunt u de toepassingsgegevens bekijken.

Status van Apache Spark-toepassing bewaken

Open de pagina Recente uitvoeringen van het notebook of de Spark-taakdefinitie. U kunt de status van de Apache-toepassing bekijken.

  • Geslaagd

Schermopname waarin de status Geslaagd wordt weergegeven.

  • In wachtrij geplaatst

Schermopname van waar de status in de wachtrij wordt weergegeven.

  • Gestopt

Schermopname van de status Gestopt.

  • Geannuleerd

Schermopname die laat zien waar de geannuleerde status wordt weergegeven.

  • Mislukt

Schermopname die laat zien waar de status Mislukt wordt weergegeven.

Projecten

Open een Apache Spark-toepassingstaak in het contextmenu van de Spark-taakdefinitie of het contextmenu voor notitieblokitems met de optie Recent uitvoeren ->Recente uitvoeringen -> selecteer een taak op de pagina recente uitvoeringen.

Op de pagina details van de Apache Spark-toepassingsbewaking wordt de lijst met taken uitgevoerd op het tabblad Taken weergegeven. Hier kunt u de details van elke taak bekijken, waaronder taak-id, beschrijving, status, fasen, taken, duur, verwerkt, gegevens lezen, geschreven gegevens en codefragment.

  • Als u op taak-id klikt, kunt u de taak uitvouwen/samenvouwen.
  • Klik op de taakbeschrijving. U kunt naar de taak- of fasepagina gaan in de Spark-gebruikersinterface.
  • Klik op het codefragment van de taak. U kunt de code met betrekking tot deze taak controleren en kopiëren.

Schermopname van de taken.

Resources (preview)

In de uitvoergrafiek wordt de toewijzing van Spark-taakexecutors en resourcegebruik visueel weergegeven. Op dit moment wordt deze functie alleen weergegeven in de runtime-informatie van spark 3.4 en hoger. Resources selecteren (preview) en vervolgens vier typen curven over het gebruik van uitvoerders worden opgesteld, waaronder actief, inactief, toegewezen, maximumexemplaren.

Schermopname van het bewakingsresourcegebruik.

  • Voor Toegewezen verwijst u naar de kernsituatie die wordt toegewezen tijdens het uitvoeren van de Spark-toepassing.

  • Voor maximumexemplaren verwijst u naar het maximum aantal kernen dat is toegewezen aan de Spark-toepassing.

  • Voor Uitvoeren verwijst u naar het werkelijke aantal kernen dat wordt gebruikt door de Spark-toepassing wanneer deze wordt uitgevoerd. Klik op een bepaald moment terwijl de Spark-toepassing wordt uitgevoerd. U kunt de details van de actieve uitvoerderskerntoewijzing onder aan de grafiek zien.

    Schermopname van de details van de actieve uitvoerderskerntoewijzing.

  • Voor Niet-actief is dit het aantal ongebruikte kernen terwijl de Spark-toepassing wordt uitgevoerd.

In sommige gevallen kan het aantal taken de capaciteit van de uitvoerderskernen overschrijden (dat wil bijvoorbeeld het > totale aantal uitvoerderskernen / spark.task.cpus). Dit is zoals verwacht, omdat er een tijdsverschil is tussen een taak die is gemarkeerd als actief en daadwerkelijk wordt uitgevoerd op een uitvoerderskern. Sommige taken worden dus mogelijk weergegeven als actief, maar worden niet uitgevoerd op een kern.

Selecteer het kleurpictogram om de bijbehorende inhoud in alle grafieken te selecteren of op te heffen.

Schermopname van de grafiek selecteren

Samenvattingsvenster

Klik op de pagina bewaking van Apache Spark-toepassingen op de knop Eigenschappen om het samenvattingsvenster te openen/samen te vouwen. U kunt de details voor deze toepassing bekijken in Details.

  • Status voor deze Spark-toepassing.
  • De id van deze Spark-toepassing.
  • Totale duur.
  • Uitvoeringsduur voor deze Spark-toepassing.
  • Duur in de wachtrij voor deze Spark-toepassing.
  • Livy-id
  • Submitter voor deze Spark-toepassing.
  • Verzend tijd voor deze Spark-toepassing.
  • Aantal uitvoerders.

Schermopname van de samenvatting voor spark-toepassing.

Logboeken

Voor het tabblad Logboeken kunt u het volledige logboek van Livy, Prelaunch, Stuurprogrammalogboek weergeven met verschillende opties die zijn geselecteerd in het linkerdeelvenster. En u kunt de vereiste logboekgegevens rechtstreeks ophalen door trefwoorden te zoeken en de logboeken weer te geven door de logboekstatus te filteren. Klik op Logboek downloaden om de logboekgegevens naar de lokale te downloaden.

Soms zijn er geen logboeken beschikbaar, zoals de status van de taak in de wachtrij en het maken van het cluster is mislukt.

Livelogboeken zijn alleen beschikbaar wanneer het verzenden van apps mislukt en stuurprogrammalogboeken worden ook opgegeven.

Schermopname van de logboeken voor spark-toepassing.

Gegevens

Voor het tabblad Gegevens kunt u de gegevenslijst op het klembord kopiëren, de gegevenslijst en één gegevens downloaden en de eigenschappen voor elke gegevens controleren.

  • Het linkerdeelvenster kan worden uitgevouwen of samengevouwen.
  • De naam, leesindeling, grootte, bron en pad van de invoer- en uitvoerbestanden worden weergegeven in deze lijst.
  • De bestanden in invoer en uitvoer kunnen worden gedownload, pad kopiëren en eigenschappen weergeven.

Schermopname van de gegevens voor spark-toepassing.

Op het tabblad Gerelateerde items kunt u bladeren en items weergeven die zijn gekoppeld aan de Apache Spark-toepassing, waaronder notebooks, Spark-taakdefinitie en/of pijplijnen. Op de pagina gerelateerde items wordt de momentopname van de code en parameterwaarden weergegeven op het moment van uitvoering voor Notebooks. Ook ziet u de momentopname van alle instellingen en parameters op het moment van indiening voor Spark-taakdefinities. Als de Apache Spark-toepassing is gekoppeld aan een pijplijn, geeft de gerelateerde itempagina ook de bijbehorende pijplijn en de Spark-activiteit weer.

In het scherm Gerelateerde items kunt u het volgende doen:

  • Blader en navigeer door de gerelateerde items in de hiërarchische structuur.
  • Klik op het beletselteken 'Een lijst met meer acties' voor elk item om verschillende acties uit te voeren.
  • Klik op het momentopname-item om de inhoud ervan weer te geven.
  • Bekijk de Breadcrumb om het pad van het geselecteerde item naar de hoofdmap te zien.

Schermopname van de gerelateerde items voor spark-toepassing.

Diagnostiek

Het diagnostische deelvenster biedt gebruikers realtime aanbevelingen en foutanalyse, die worden gegenereerd door Spark Advisor via een analyse van de code van de gebruiker. Met ingebouwde patronen helpt de Apache Spark Advisor gebruikers veelvoorkomende fouten te voorkomen en fouten te analyseren om hun hoofdoorzaak te identificeren.

Schermopname van de diagnostische gegevens voor spark-toepassing.

Gerelateerde inhoud

De volgende stap nadat u de details van een Apache Spark-toepassing hebt bekeken, is door de voortgang van de Spark-taak onder de notebookcel weer te geven. U kunt het volgende raadplegen: