Share via

Use o Synapse Studio para monitorar seus aplicativos Apache Spark

  • Artigo

Com o Azure Synapse Analytics, você pode usar Apache Spark para executar blocos de anotações, trabalhos e outros tipos de aplicativos em seus pools de Apache Spark em seu espaço de trabalho.

Este artigo explica como monitorar seus aplicativos Apache Spark, permitindo que você fique atento ao status, aos problemas e ao progresso mais recentes.

Exibir aplicativos Apache Spark

Você pode exibir todos os aplicativos de Apache Spark a partir de Monitorar –>Aplicativos Apache Spark.

Captura de tela dos aplicativos Apache Spark.

Exibir aplicativos Apache Spark concluídos

Abra Monitorar e escolha Aplicativos Apache Spark. Para exibir os detalhes sobre os aplicativos Apache Spark concluídos, selecione um aplicativo Apache Spark.

Captura de tela dos detalhes do trabalho concluído.

  1. Verifique as Tarefas concluídas, o Statuse a Duração total.

  2. Atualize o trabalho.

  3. Clique em Comparar aplicativos para usar o recurso de comparação. Para obter mais informações sobre esse recurso, consulte Comparar aplicativos Apache Spark.

  4. Clique no servidor de histórico do Spark para abrir a página Servidor de Histórico.

  5. Verifique as informações de Resumo.

  6. Verifique o diagnóstico na guia Diagnóstico.

  7. Verifique os Logs. Você pode exibir o log completo dos logs Livy, Pré-inicialização e Driver selecionando diferentes opções na lista suspensa. E você pode recuperar diretamente as informações de log necessárias pesquisando palavras-chave. Clique em Baixar log para fazer o download das informações de log para o local, e marque a caixa de seleção Filtrar erros e avisos para filtrar os erros e avisos necessários.

  8. Você pode ter uma visão geral do trabalho no grafo do trabalho gerado. Por padrão, o grafo mostra todos os trabalhos. Você pode filtrar a exibição por ID do Trabalho.

  9. Por padrão, a exibição de Progresso é selecionada. Você pode verificar o fluxo de dados selecionando Progresso/Leituras/Gravado/Duração na lista suspensa Exibir.

  10. Para reproduzir o trabalho, clique no botão Reproduzir. Você pode clicar no botão Parar a qualquer momento para parar.

  11. Use a barra de rolagem para ampliar e reduzir o grafo do trabalho; você também pode selecionar Ajustar nível de Zoom para ajustá-lo à tela.

Captura de tela do trabalho concluído.

  1. O nó do grafo do trabalho exibe as seguintes informações de cada fase:

    • ID do Trabalho

    • Número da tarefa

    • Tempo de duração

    • Contagem de linhas

    • Leitura de dados: a soma do tamanho de entrada e o tamanho de leitura em ordem aleatória

    • Gravação de dados: a soma do tamanho de saída e do tamanho das gravações em ordem aleatória

    • Número da fase

      Captura de tela do nó do grafo de trabalho.

  2. Passe o mouse sobre um trabalho e os detalhes dele serão exibidos na dica de ferramenta:

    • Ícone do status do trabalho: se o status do trabalho for bem-sucedido, ele será exibido com o símbolo "√" em verde; se for detectado algum problema, ele será exibido com o símbolo "!" em amarelo.

    • ID do Trabalho

    • Parte geral:

      • Progresso
      • Tempo de duração
      • Número total de tarefas

    • Parte de dados:

      • Número total de linhas
      • Tamanho da leitura
      • Tamanho da gravação

    • Parte de distorção:

      • Distorção de dados
      • Distorção de tempo

    • Número da fase

      Captura de tela da dica de ferramenta passando o mouse sobre um trabalho.

  3. Clique em Número da fase para expandir todas as fases contidas no trabalho. Clique em Recolher ao lado da ID do Trabalho para recolher todas as fases do trabalho.

  4. Clique em Exibir detalhes no grafo da fase e os detalhes da fase aparecerão.

    Captura de tela dos estágios expandidos.

Monitorar o progresso do aplicativo Apache Spark

Abra Monitorar e escolha Aplicativos Apache Spark. Para exibir os detalhes sobre os aplicativos Apache Spark que estão sendo executados, selecione o aplicativo Apache Spark enviado. Se o aplicativo Apache Spark ainda estiver em execução, você poderá monitorar o progresso.

Captura de tela do trabalho em execução selecionado

  1. Verifique as Tarefas concluídas, o Statuse a Duração total.

  2. Cancele o aplicativo Apache Spark.

  3. Atualize o trabalho.

  4. Clique no botão de Interface do Usuário do Spark para ir para a página de Trabalho do Spark.

  5. Para Grafo de trabalho, Resumo, Diagnóstico, Logs. Você pode ter uma visão geral do trabalho no grafo do trabalho gerado. Confira as etapas de 5 a 15 de Exibir aplicativos Apache Spark concluídos.

Captura de tela do trabalho em execução.

Exibir aplicativos Apache Spark cancelados

Abra Monitorar e escolha Aplicativos Apache Spark. Para exibir os detalhes sobre os aplicativos Apache Spark cancelados, selecione um aplicativo Apache Spark.

Captura de tela do trabalho cancelado.

  1. Verifique as Tarefas concluídas, o Statuse a Duração total.

  2. Atualize o trabalho.

  3. Clique em Comparar aplicativos para usar o recurso de comparação. Para obter mais informações sobre esse recurso, consulte Comparar aplicativos Apache Spark.

  4. Abra o link do servidor de histórico do Apache clicando em servidor de histórico do Spark.

  5. Exiba o gráfico. Você pode ter uma visão geral do trabalho no grafo do trabalho gerado. Confira as etapas de 5 a 15 de Exibir aplicativos Apache Spark concluídos.

Captura de tela dos detalhes do trabalho cancelado.

Depurar aplicativo Apache Spark com falha

Abra Monitorar e escolha Aplicativos Apache Spark. Para exibir os detalhes sobre os aplicativos Apache Spark com falha, selecione um aplicativo Apache Spark.

Captura de tela do trabalho com falha.

  1. Verifique as Tarefas concluídas, o Statuse a Duração total.

  2. Atualize o trabalho.

  3. Clique em Comparar aplicativos para usar o recurso de comparação. Para obter mais informações sobre esse recurso, consulte Comparar aplicativos Apache Spark.

  4. Abra o link do servidor de histórico do Apache clicando em servidor de histórico do Spark.

  5. Exiba o gráfico. Você pode ter uma visão geral do trabalho no grafo do trabalho gerado. Confira as etapas de 5 a 15 de Exibir aplicativos Apache Spark concluídos.

Captura de tela dos detalhes do trabalho com falha.

Exibir dados de entrada/de saída

Selecione um aplicativo Apache Spark e clique na guia dados “Dados de Entrada/Saída” para exibir as datas de entrada e saída para o aplicativo Apache Spark. Essa função pode ajudar você a depurar o trabalho do Spark. E a fonte de dados dá suporte a três métodos de armazenamento: Gen1, Gen2 e BLOB.

guia de dados de Entrada

  1. Clique no botão Copiar entrada para colar o arquivo de entrada no local.

  2. Clique no botão Exportar para CSV para exportar o arquivo de entrada no formato CSV.

  3. Você pode pesquisar arquivos por palavras-chave de entrada na caixa de Pesquisa (as palavras-chave incluem nome do arquivo, formato de leitura e caminho).

  4. Você pode classificar os arquivos de entrada clicando em Nome, Formato de leitura e caminho.

  5. Passe o mouse sobre um arquivo de entrada e o ícone do botão Baixar/Copiar caminho/Mais será exibido.

Captura de tela da guia de entrada.

  1. Clique no botão Mais. As opções Copiar caminho/Mostrar no Explorer/Propriedades serão exibidas no menu de contexto.

    Captura de tela do menu Mais entrada.

    • Copiar caminho: pode copiar o Caminho completo e o Caminho relativo.

    • Mostrar no Explorer: pode ir para a conta de armazenamento vinculada (Dados -> Vinculado).

    • Propriedades: mostra as propriedades básicas do arquivo (Nome do arquivo/Caminho do arquivo/Formato de leitura/Tamanho/Modificado).

      Captura de tela das propriedades.

guia de dados de Saída

Exibe os mesmos recursos que a guia de entrada.

Captura de tela dos dados de saída.

Compare Aplicativos Apache Spark

Há duas maneiras de comparar aplicativos. Você pode comparar escolhendo Comparar Aplicativo ou clicar no botão Comparar no notebook para exibi-lo no notebook.

Comparar por aplicativo

Clique no botão Comparar aplicativos e escolha um aplicativo para comparar o desempenho. Você pode ver a diferença entre os dois aplicativos.

Captura de tela da comparação de aplicativos.

Captura de tela dos dados para comparar aplicativos.

  1. Passe o mouse sobre um aplicativo e o ícone Comparar aplicativos será exibido.

  2. Clique no ícone Comparar aplicativos e a página Comparar aplicativos será exibida.

  3. Clique no botão Escolher aplicativo para abrir a página Escolher aplicativo de comparação.

  4. Ao escolher o aplicativo de comparação, você precisa inserir a URL do aplicativo ou escolher na lista recorrente. Em seguida, clique no botão OK.

    Captura de tela da escolha do aplicativo de comparação.

  5. O resultado da comparação será exibido na página comparar aplicativos.

    Captura de tela do resultado da comparação.

Comparar no notebook

Clique no botão Comparar no Bloco de Anotações na página Comparar aplicativos para abrir o bloco de anotações. O nome padrão do arquivo .ipynb é a Análise de Aplicativo Recorrente.

Captura de tela da comparação no notebook.

No Bloco de Anotações: arquivo da Análise do Aplicativo Recorrente, você pode executá-lo diretamente depois de definir o pool e o idioma do Spark.

Captura de tela da análise de aplicativo recorrente.

Próximas etapas

Para obter mais informações sobre o monitoramento de execuções de pipeline, consulte o artigo Monitorar execuções de pipeline no Synapse Studio.