Azure Databricks Notebook 및 파이프라인 이해
Azure Databricks에서 Notebook을 사용하여 Python, Scala, SQL 및 기타 언어로 작성된 코드를 실행하여 데이터를 수집하고 처리할 수 있습니다. Notebook은 개별 코드 셀을 실행하고 Markdown을 사용하여 메모 및 주석을 포함할 수 있는 대화형 인터페이스를 제공합니다.
많은 데이터 엔지니어링 솔루션에서 대화형으로 작성 및 테스트된 코드는 나중에 자동화된 데이터 처리 워크로드에 통합될 수 있습니다. Azure에서 이러한 워크로드는 종종 Azure Data Factory에서 파이프라인으로 구현되며, 하나 이상의 작업은 주문형, 예약된 간격 또는 이벤트(예: 데이터 레이크의 폴더로 로드되는 새 데이터)에 대한 응답으로 실행할 수 있는 일련의 작업을 오케스트레이션하는 데 사용됩니다. Azure Data Factory는 Azure Databricks 작업 영역에서 Notebook의 무인 실행을 자동화하는 데 사용할 수 있는 Notebook 작업을 지원합니다.
참고 항목
동일한 Notebook 작업은 Azure Synapse Analytics에 기본 제공되는 파이프라인에서 사용할 수 있습니다.