파이프라인이나 쿼리가 예상보다 오래 진행되거나 비용이 많이 들면, 코드만으로는 원인을 파악하기 어려운 경우가 많습니다. Spark UI는 클러스터가 실제로 무엇을 했는지, 어떤 작업이 실행되었는지, 각 단계별로 얼마나 걸렸는지, 데이터 양이 얼마나 이동했는지, 그리고 작업 실패 지점을 보여줍니다. 이 가이드는 Spark UI의 패턴을 설명하고, 각 패턴마다 다음에 읽어야 할 페이지가 무엇인지 설명합니다. 드라이버, 워커, 이그제큐터, 스테이지, 태스크 개념에 익숙하지 않다면, 시작하기 전에 Spark 아키텍처를 검토하세요.
이 가이드를 사용하는 경우
클러스터에서 실행되는 워크로드가 다음과 같은 증상을 보일 때 이 가이드를 사용하세요:
- 작업, 파이프라인, 쿼리가 예상보다 더 오래 걸리거나 예전보다 더 오래 걸립니다.
- 워크로드는 처리하는 데이터 양에 비해 예상보다 비용이 더 듭니다.
- 작업이나 실행기가 실패하면 오류 메시지에 원인이 표시되지 않습니다.
이 가이드를 사용하는 방법
먼저 작업 타임라인부터 살펴보세요. 타임라인은 작업 전체의 형태를 보여주며, 각 패턴은 해당 패턴을 진단하는 페이지로 연결됩니다. 각 페이지 끝의 링크를 따라 가이드를 진행하세요. 느린 워크로드를 진단하려면 다음 단계를 순서대로 따르세요:
- 작업 타임라인을 사용하여 주요 문제 식별
- 가장 긴 단계를 살펴보기
- 기울기 또는 유출을 찾습니다.
- 가장 긴 단계가 I/O 바인딩된 확인
- 느린 단계 실행 시간을 유발하는 다른 원인을 찾으십시오.
작업 타임라인에 실패한 작업, 긴 공백, 또는 많은 작은 작업이 표시된다면, 나머지 단계는 건너뛰고 타임라인 페이지의 링크를 따라 해당 패턴 페이지를 찾으세요.
Spark UI를 여는 방법
클러스터의 페이지로 이동합니다.
Spark UI클릭합니다.
이동합니다.
다음 단계
다음으로, 이벤트 일정을 검토하여 파이프라인이나 쿼리에 대해 더 알아보세요. 작업 타임라인참조하세요.