파이프라인에서 Notebook 활동 사용
Azure Databricks 작업 영역에 대한 Azure Data Factory에서 연결된 서비스를 만든 후에는 이를 사용하여 파이프라인에서 Notebook 작업에 대한 연결을 정의할 수 있습니다.
Notebook 작업을 사용하려면 파이프라인을 만들고 Databricks 범주에서 Notebook 작업을 파이프라인 디자이너 화면에 추가합니다.
Notebook 작업의 다음 속성을 사용하여 구성합니다.
| 범주 | 설정 | 설명 |
|---|---|---|
| 일반 | 이름 | 작업의 고유한 이름. |
| Description | 의미 있는 설명. | |
| 제한 시간 | 자동으로 취소하기 전에 작업을 실행해야 하는 기간. | |
| 다시 시도 | 실패하기 전에 Azure Data Factory가 시도해야 하는 횟수. | |
| 재시도 간격 | 다시 시도하기 전에 대기하는 데 걸리는 시간. | |
| 입력 및 출력 보안 | 입력 및 출력 값이 기록되는지 여부를 결정합니다. | |
| Azure Databricks | Azure Databricks 연결된 서비스 | Notebook을 포함하는 Azure Databricks 작업 영역에 대한 연결된 서비스입니다. |
| 설정 | Notebook 경로 | 작업 영역에서 Notebook 파일의 경로입니다. |
| 기본 매개 변수 | Notebook에 매개 변수를 전달하는 데 사용됩니다. | |
| 라이브러리 추가 | 기본적으로 설치되지 않은 필수 코드 라이브러리입니다. | |
| 사용자 속성 | 사용자 지정 사용자 정의 속성입니다. |
파이프라인 실행
Notebook 작업이 포함된 파이프라인이 게시되면 트리거를 정의하여 실행할 수 있습니다. 그런 다음, Azure Data Factory Studio의 Monitor 섹션에서 파이프라인 실행을 모니터링할 수 있습니다.