Monitoramento de detalhes do aplicativo Apache Spark

Com o Microsoft Fabric, você pode usar o Apache Spark para executar blocos de anotações, trabalhos e outros tipos de aplicativos em seu espaço de trabalho. Este artigo explica como monitorar seu aplicativo Apache Spark, permitindo que você fique de olho no status de execução recente, problemas e progresso de seus trabalhos.

Ver aplicações Apache Spark

Você pode visualizar todos os aplicativos Apache Spark na definição de trabalho do Spark ou o menu de contexto do item do bloco de anotações mostra a opção de execução recente ->Execuções recentes.

Você pode selecionar o nome do aplicativo que deseja visualizar na lista de aplicativos, na página de detalhes do aplicativo você pode visualizar os detalhes do aplicativo.

Monitorar o status do aplicativo Apache Spark

Abra a página Execuções recentes do bloco de anotações ou definição de trabalho do Spark, você pode visualizar o status do aplicativo Apache.

• Com êxito

• Em fila

• Parado

• Cancelada

• Com falhas

Tarefas

Abrir um trabalho do aplicativo Apache Spark na definição de trabalho do Spark ou no menu de contexto do item do bloco de anotações mostra a opção Execução recente ->Execuções recentes -> selecione um trabalho na página Execuções recentes.

Na página de detalhes de monitoramento do aplicativo Apache Spark, a lista de execuções de trabalho é exibida na guia Trabalhos , você pode visualizar os detalhes de cada trabalho aqui, incluindo ID do trabalho, Descrição, Status, Estágios, Tarefas, Duração, Processado, Dados lidos, Dados escritos e Trecho de código.

• Clicar em ID do trabalho pode expandir/recolher o trabalho.
• Clique na descrição do trabalho, você pode saltar para a página de trabalho ou estágio na interface do usuário do spark.
• Clique no trecho do código do trabalho, você pode verificar e copiar o código relacionado a este trabalho.

Recursos (Pré-visualização)

O gráfico de uso do executor exibe visualmente a alocação de executores de trabalho do Spark e o uso de recursos. Atualmente, apenas as informações de tempo de execução do spark 3.4 e superior exibirão esse recurso. Selecione Recursos (Visualização) e, em seguida, quatro tipos de curvas sobre o uso do executor são rasgadas, incluindo instâncias em execução, ociosa, alocadas e máximas.

• Para Alocado, refere-se à situação principal alocada durante a execução do aplicativo Spark.

• Para instâncias Máximas, refere-se ao número máximo de núcleos alocados para o aplicativo Spark.

• Para Execução, refere-se ao número real de núcleos usados pelo aplicativo Spark quando ele está em execução. Clique em um ponto no tempo enquanto o aplicativo spark está em execução. Você pode ver os detalhes de alocação do núcleo do executor em execução na parte inferior do gráfico.

  

• Para Idled, é o número de núcleos não utilizados enquanto o aplicativo Spark está em execução.

Em alguns casos, em alguns momentos, o número de tarefas pode exceder a capacidade dos núcleos do executor (ou seja, números > totais de tarefas núcleos do executor / spark.task.cpus). Isso é o esperado, porque há um intervalo de tempo entre uma tarefa marcada como em execução e ela está realmente sendo executada em um núcleo de executor. Assim, algumas tarefas podem ser mostradas como em execução, mas não são executadas em nenhum núcleo.

Selecione o ícone de cor para selecionar ou desmarcar o conteúdo correspondente em todos os gráficos.

Painel de resumo

Na página de monitoramento do aplicativo Apache Spark, clique no botão Propriedades para abrir/recolher o painel de resumo. Você pode visualizar os detalhes desta aplicação em Detalhes.

• Status para este aplicativo de faísca.
• ID deste aplicativo Spark.
• Duração total.
• Duração de execução para este aplicativo spark.
• Duração da fila para este aplicativo de faísca.
• ID Lívio
• Transmitente para este aplicativo de faísca.
• Tempo de envio para esta aplicação de faísca.
• Número de executores.

Registos

Para a guia Logs , você pode visualizar o log completo de Livy, Prelaunch, Driver log com diferentes opções selecionadas no painel esquerdo. E você pode recuperar diretamente as informações de log necessárias pesquisando palavras-chave e visualizar os logs filtrando o status do log. Clique em Download Log para baixar as informações de log para o local.

Às vezes, nenhum log está disponível, como o status do trabalho está enfileirado e a criação do cluster falhou.

Os logs em tempo real só estão disponíveis quando o envio do aplicativo falha, e os logs de driver também são fornecidos.

Dados

Para a guia Dados , você pode copiar a lista de dados na área de transferência, baixar a lista de dados e os dados únicos e verificar as propriedades de cada dado.

• O painel esquerdo pode ser expandido ou recolhido.
• O nome, formato de leitura, tamanho, origem e caminho dos arquivos de entrada e saída serão exibidos nesta lista.
• Os arquivos de entrada e saída podem ser baixados, copiar caminho e visualizar propriedades.

Artigos relacionados

A guia Itens relacionados permite que você navegue e visualize itens associados ao aplicativo Apache Spark, incluindo Notebooks, definição de trabalho do Spark e/ou Pipelines. A página de itens relacionados exibe o instantâneo dos valores de código e parâmetro no momento da execução dos Blocos de Anotações. Ele também mostra o instantâneo de todas as configurações e parâmetros no momento do envio para definições de trabalho do Spark. Se o aplicativo Apache Spark estiver associado a um pipeline, a página do item relacionado também apresentará o pipeline correspondente e a atividade do Spark.

Na tela Itens relacionados, você pode:

• Navegue e navegue pelos itens relacionados na árvore hierárquica.
• Clique no ícone de elipse 'Uma lista de mais ações' para cada item para executar ações diferentes.
• Clique no item de instantâneo para visualizar seu conteúdo.
• Exiba o Breadcrumb para ver o caminho do item selecionado para a raiz.

Diagnóstico

O painel de diagnóstico fornece aos usuários recomendações em tempo real e análise de erros, que são geradas pelo Spark Advisor através de uma análise do código do usuário. Com padrões integrados, o Apache Spark Advisor ajuda os usuários a evitar erros comuns e analisa falhas para identificar sua causa raiz.

Conteúdos relacionados

A próxima etapa depois de visualizar os detalhes de um aplicativo Apache Spark é visualizar o progresso do trabalho do Spark abaixo da célula do Notebook. Pode referir-se a:

• Monitoramento e depuração contextual do notebook