Azure Databricks를 이용한 데이터 엔지니어링

중급
데이터 엔지니어
Databricks

Azure Databricks 플랫폼에서 실행되는 Apache Spark와 강력한 클러스터의 기능을 활용하여 클라우드에서 대량의 데이터 엔지니어링 워크로드를 실행하는 방법을 알아봅니다.

필수 조건

없음

이 학습 경로의 모듈

Azure Databricks는 Apache Spark를 사용하여 데이터 분석을 위한 스케일링 가능한 플랫폼을 제공하는 클라우드 서비스입니다.

Azure Databricks는 Apache Spark를 기반으로 하며 데이터 엔지니어와 분석가가 Spark 작업을 실행하여 대규모로 데이터를 변환, 분석 및 시각화할 수 있도록 지원합니다.

Delta Lake는 Azure Databricks에서 데이터 레이크하우스 아키텍처를 구현하는 데 사용할 수 있는 Spark용 오픈 소스 관계형 스토리지 영역입니다.

Azure Databricks는 데이터 분석가가 친숙한 관계형 SQL 쿼리를 사용하여 데이터를 사용할 수 있도록 하는 SQL Warehouse를 제공합니다.

Azure Data Factory의 파이프라인을 사용하여 Azure Databricks에서 Notebook을 실행하면 클라우드 규모에서 데이터 엔지니어링 프로세스를 자동화할 수 있습니다.