소개
Azure Databricks를 사용하면 데이터 엔지니어가 Notebook의 코드를 사용하여 데이터를 수집하고 처리할 수 있습니다. Notebook은 대화형으로 사용하도록 설계되어 있지만 이를 사용하여 Azure Data Factory를 사용하여 오케스트레이션된 데이터 수집 또는 처리 파이프라인의 활동을 캡슐화할 수 있습니다.
이 모듈에서는 다음 방법을 알아봅니다.
- 파이프라인에서 Azure Databricks Notebook을 실행하는 방법을 설명합니다.
- Azure Databricks에 대한 Azure Data Factory 연결된 서비스를 만듭니다.
- 파이프라인에서 Notebook 작업을 사용합니다.
- Notebook에 매개 변수를 전달합니다.
참고
이 모듈은 Azure Data Factory 파이프라인에서 Azure Databricks Notebook을 사용하는 데 중점을 두지만 Azure Synapse Analytics 파이프라인을 사용할 때 동일한 원칙과 기술이 적용됩니다.