Monitorar trabalhos do Spark em um bloco de anotações
O notebook Microsoft Fabric é uma superfície interativa baseada na Web para desenvolver trabalhos do Apache Spark e conduzir experimentos de aprendizado de máquina. Este artigo descreve como monitorar o progresso de seus trabalhos do Spark, acessar os logs do Spark, receber conselhos no bloco de anotações e navegar até a exibição de detalhes do aplicativo Spark ou a interface do usuário do Spark para obter informações de monitoramento mais abrangentes para todo o bloco de anotações.
Monitore o progresso do trabalho do Spark
Um indicador de progresso de trabalho do Spark é fornecido com uma barra de progresso em tempo real que ajuda a monitorar o status de execução do trabalho para cada célula do bloco de anotações. Você pode visualizar o status e o progresso das tarefas em seus trabalhos e estágios do Spark.
Monitorar o uso de recursos
O gráfico de uso do executor exibe visualmente a alocação de executores de trabalho do Spark e o uso de recursos. Atualmente, apenas as informações de tempo de execução do spark 3.4 e superior exibirão esse recurso. Clique na guia Recursos , o gráfico de linhas para o uso de recursos da célula de código será exibido.
Ver recomendações do Spark Advisor
Um consultor Spark integrado analisa o código do seu notebook e as execuções do Spark em tempo real para ajudar a otimizar o desempenho de execução do seu notebook e ajudar na depuração de falhas. Existem três tipos de conselhos incorporados: Informações, Aviso e Erro. Os ícones com números indicam a respetiva contagem de conselhos em cada categoria (Informações, Aviso e Erro) gerados pelo consultor do Spark para uma célula específica do bloco de notas.
Para ver o conselho, clique na seta no início para expandir e revelar os detalhes.
Depois de expandir a secção de conselheiros, um ou mais conselhos tornam-se visíveis.
Deteção de distorção do Spark Advisor
A distorção de dados é um problema comum que os usuários costumam encontrar. O Spark advisor suporta a deteção de distorção e, se a distorção for detetada, uma análise correspondente será exibida abaixo.
Acessar logs em tempo real do Spark
Os logs de faísca são essenciais para localizar exceções e diagnosticar desempenho ou falhas. O recurso de monitoramento contextual no bloco de anotações traz os logs diretamente para você para a célula específica que você está executando. Você pode pesquisar os logs ou filtrá-los por erros e avisos.
Navegue até Detalhes de monitoramento do Spark e da interface do usuário do Spark
Se quiser acessar informações adicionais sobre a execução do Spark no nível do bloco de anotações, você pode navegar até a página de detalhes do aplicativo Spark ou a interface do usuário do Spark através das opções disponíveis no menu de contexto.
