Notebook 내에서 Spark 작업 모니터링

Microsoft Fabric Notebook은 Apache Spark 작업을 개발하고 기계 학습 실험을 수행하기 위한 웹 기반 대화형 화면입니다. 이 문서에서는 Spark 작업의 진행 상황을 모니터링하고, Spark 로그에 액세스하고, Notebook 내에서 조언을 받고, 전체 Notebook에 대한 보다 포괄적인 모니터링 정보를 보려면 Spark 애플리케이션 세부 정보 보기 또는 Spark UI로 이동하는 방법을 설명합니다.

Spark 작업 진행률 모니터링

Spark 작업 진행률 표시기는 각 Notebook 셀에 대한 작업 실행 상태 모니터링하는 데 도움이 되는 실시간 진행률 표시줄과 함께 제공됩니다. Spark 작업 및 단계에서 상태 및 작업의 진행률을 볼 수 있습니다.

리소스 사용량 모니터링

실행기 사용 그래프는 Spark 작업 실행기 및 리소스 사용량의 할당을 시각적으로 표시합니다. 현재 spark 3.4 이상의 런타임 정보만 이 기능을 표시합니다. 리소스 탭을 클릭하면 코드 셀의 리소스 사용에 대한 꺾은선형 차트가 표시됩니다.

Spark Advisor 권장 사항 보기

기본 제공 Spark 관리자는 Notebook 코드 및 Spark 실행을 실시간으로 분석하여 Notebook의 실행 성능을 최적화하고 디버깅 실패를 지원합니다. 정보, 경고 및 오류의 세 가지 기본 제공 조언이 있습니다. 숫자가 있는 아이콘은 특정 Notebook 셀에 대해 Spark 관리자가 생성한 각 범주의 각 조언 수(정보, 경고 및 오류)를 나타냅니다.

조언을 보려면 시작 부분에 있는 화살표를 클릭하여 세부 정보를 확장하고 표시합니다.

Advisor 섹션을 확장하면 하나 이상의 조언이 표시됩니다.

Spark Advisor 기울이기 검색

데이터 기울이기는 사용자가 자주 발생하는 일반적인 문제입니다. Spark Advisor는 기울이기 검색을 지원하며 기울이기가 감지되면 해당 분석이 아래에 표시됩니다.

Spark 실시간 로그 액세스

Spark 로그는 예외를 찾고 성능 또는 실패를 진단하는 데 필수적입니다. Notebook의 상황별 모니터링 기능은 실행 중인 특정 셀에 대한 로그를 직접 제공합니다. 로그를 검색하거나 오류 및 경고로 필터링할 수 있습니다.

Spark 모니터링 세부 정보 및 Spark UI로 이동합니다.

Notebook 수준에서 Spark 실행에 대한 추가 정보에 액세스하려면 상황에 맞는 메뉴에서 사용할 수 있는 옵션을 통해 Spark 애플리케이션 세부 정보 페이지 또는 Spark UI로 이동할 수 있습니다.

관련 콘텐츠

• Spark Advisor에 대해 알아보기
• Apache Spark 애플리케이션 세부 모니터링
• 확장된 Spark 기록 서버를 사용하여 앱 디버그