중요합니다
이 기능은 공개 미리보기 단계에 있습니다.
이 문서에서는 Lakeflow Spark 선언적 파이프라인의 Notebook을 사용하여 ETL 파이프라인을 개발하고 디버그하는 방법을 설명합니다.
비고
이 페이지에서는 레거시 전자 필기장 편집 환경에 대해 설명합니다. 기본 권장 환경은 Lakeflow 파이프라인 편집기입니다. Lakeflow 파이프라인 편집기를 사용하여 Notebook을 편집하거나 파이프라인에 대한 Python 또는 SQL 코드 파일을 편집할 수 있습니다. 자세한 내용은 Lakeflow 파이프라인 편집기를 사용하여 ETL 파이프라인 개발 및 디버그를 참조하세요.
이 페이지에 설명된 Notebook 환경을 구성하려면 Lakeflow 파이프라인 편집기를 해제해야 합니다. Lakeflow 파이프라인 편집기 및 업데이트된 모니터링 사용을 참조하세요.
Lakeflow Spark 선언적 파이프라인의 Notebook 개요
기존 파이프라인의 소스 코드로 구성된 Python 또는 SQL Notebook에서 작업하는 경우 Notebook을 파이프라인에 직접 연결할 수 있습니다. Notebook이 파이프라인에 연결되면 다음 기능을 사용할 수 있습니다.
- Notebook에서 파이프라인을 시작하고 유효성을 검사합니다.
- 노트북의 최신 업데이트를 위해 파이프라인의 데이터 흐름 그래프와 이벤트 로그를 확인하십시오.
- Notebook 편집기에서 파이프라인 진단을 봅니다.
- Notebook에서 파이프라인 클러스터의 상태를 확인합니다.
- Notebook에서 Lakeflow Spark 선언적 파이프라인 UI에 액세스합니다.
필수 조건
- 원본 코드로 구성된 Python 또는 SQL Notebook이 있는 기존 파이프라인이 있어야 합니다.
- 파이프라인의 소유자이거나
CAN_MANAGE권한이 있어야 합니다.
제한점
- 이 문서에서 다루는 기능은 Azure Databricks Notebook에서만 사용할 수 있습니다. 작업 영역 파일은 지원되지 않습니다.
- 웹 터미널은 파이프라인에 연결할 때 사용할 수 없습니다. 따라서 아래쪽 패널에 탭으로 표시되지 않습니다.
파이프라인에 Notebook 연결
Notebook 내에서 컴퓨트를 선택하는 데 사용되는 드롭다운 메뉴를 클릭합니다. 드롭다운 메뉴에는 이 Notebook을 소스 코드로 사용하는 모든 Lakeflow Spark 선언적 파이프라인이 표시됩니다. Notebook을 파이프라인에 연결하려면 목록에서 선택합니다.
파이프라인의 클러스터 상태 보기
파이프라인 클러스터의 상태를 쉽게 이해하기 위해 해당 상태는 컴퓨팅 드롭다운 메뉴에 녹색으로 표시되어 클러스터가 실행 중임을 나타냅니다.
파이프라인 코드 유효성 검사
파이프라인 유효성을 검사하여 데이터를 처리하지 않고 소스 코드에서 구문 오류를 확인할 수 있습니다.
파이프라인의 유효성을 검사하려면 다음 중 하나를 수행합니다.
- 전자 필기장의 오른쪽 위 모서리에서 유효성 검사를 클릭합니다.
- 노트북 셀에서
Shift+Enter을 누르세요. - 셀의 드롭다운 메뉴에서 파이프라인 유효성 검사를 클릭합니다.
비고
기존 업데이트가 이미 실행 중인 동안 파이프라인의 유효성을 검사하려고 하면 기존 업데이트를 종료할지 묻는 대화 상자가 표시됩니다. 예클릭하면 기존 업데이트는 중단되고 확인 업데이트가 자동으로 시작됩니다.
파이프라인 업데이트 시작
파이프라인 업데이트를 시작하려면 Notebook의 오른쪽 위 모서리에 있는 시작 단추를 클릭합니다. 파이프라인 업데이트 실행을 참조하세요.
업데이트 상태 보기
Notebook의 위쪽 패널에는 파이프라인 업데이트가 다음과 같은지 여부를 표시합니다.
- 시작 중
- 유효성 검사
- 중지 중
오류 및 진단 보기
파이프라인 업데이트 또는 유효성 검사를 시작하면 오류가 빨간색 밑줄과 함께 인라인으로 표시됩니다. 오류 위로 마우스를 가져가서 자세한 정보를 확인합니다.
파이프라인 이벤트 보기
파이프라인에 연결된 경우 Notebook 아래쪽에 Lakeflow Spark 선언적 파이프라인 이벤트 로그 탭이 있습니다.
파이프라인 데이터 흐름 그래프 보기
파이프라인의 데이터 흐름 그래프를 보려면 Notebook 아래쪽에 있는 Lakeflow Spark 선언적 파이프라인 그래프 탭을 사용합니다. 그래프에서 노드를 선택하면 오른쪽 패널에 해당 스키마가 표시됩니다.
데이터 흐름 그래프
Dataflow Graph
Notebook에서 Lakeflow Spark 선언적 파이프라인 UI에 액세스하는 방법
Lakeflow Spark 선언적 파이프라인 UI로 쉽게 이동하려면 Notebook의 오른쪽 위 모서리에 있는 메뉴를 사용합니다.
Notebook에서 드라이버 로그 및 Spark UI에 액세스
개발 중인 파이프라인과 연결된 드라이버 로그 및 Spark UI는 Notebook의 보기 메뉴에서 쉽게 액세스할 수 있습니다.
