Cronograma de trabalhos

A linha do tempo de trabalhos é um ótimo ponto de partida para entender seu pipeline ou consulta. Ele fornece uma visão geral do que estava em execução, quanto tempo cada etapa levou e se houve alguma falha ao longo do caminho.

Como abrir a linha do tempo de vagas

Na interface do usuário do Spark, clique em Trabalhos e Linha do Tempo do Evento, conforme destacado em vermelho na captura de tela a seguir. Você verá a linha do tempo. Este exemplo mostra o driver e o executor 0 sendo adicionados:

O que procurar

As seções abaixo explicam como ler a linha do tempo do evento para descobrir a possível causa do seu problema de desempenho ou custo. Se você notar qualquer uma dessas tendências em sua linha do tempo, o final de cada seção correspondente contém um link para um artigo que fornece orientação.

Trabalhos com falha ou executores com falha

Aqui está um exemplo de um trabalho com falha e executores removidos, indicados por um status vermelho, na linha do tempo do evento.

Se você vir trabalhos com falha ou executores com falha, consulte Trabalhos com falha ou executores removidos.

Lacunas na execução

Procure intervalos de um minuto ou mais, como neste exemplo:

Este exemplo tem várias lacunas, algumas das quais são realçadas pelas setas vermelhas. Se você vir lacunas em sua linha do tempo, elas são de um minuto ou mais? São de esperar intervalos curtos à medida que o condutor coordena o trabalho. Se você tiver lacunas maiores, elas estão no meio de um gasoduto? Ou esse cluster está em constante execução e, portanto, as lacunas são explicadas por pausas na atividade? Talvez seja possível determinar isso com base na hora em que sua carga de trabalho começou e terminou.

Se você vir lacunas longas e inexplicáveis no meio de um pipeline, consulte Lacunas entre trabalhos do Spark.

Trabalhos longos

A linha do tempo é dominada por um ou alguns trabalhos longos? Estes longos trabalhos seriam algo a investigar. No exemplo a seguir, a carga de trabalho tem um trabalho muito mais longo do que os outros. Este é um bom alvo de investigação.

Clique no trabalho mais longo para se aprofundar. Para obter informações sobre como investigar esse estágio longo, consulte Diagnosticando um estágio longo no Spark.

Muitos pequenos trabalhos

O que estamos procurando aqui é uma linha do tempo dominada por trabalhos minúsculos. A saída poderá ser semelhante à seguinte:

Observe todas as pequenas linhas azuis. Cada um deles é um pequeno trabalho que levou alguns segundos ou menos.

Se a sua linha do tempo for principalmente de pequenos trabalhos, consulte Muitos pequenos trabalhos do Spark.

Nenhuma das anteriores

Se a sua linha do tempo não se parece com nenhuma das anteriores, o próximo passo é identificar o trabalho mais longo. Classifique os trabalhos por duração e clique no link na descrição do trabalho mais longo:

Quando você estiver na página para o trabalho mais longo, informações adicionais sobre como investigar esse estágio longo estão em Diagnosticando um estágio longo no Spark.