소개
Azure Databricks는 Apache Spark를 사용하여 데이터 분석 및 처리를 위한 고도의 스케일링 가능 플랫폼을 제공합니다.
Spark는 다양한 프로그래밍 언어 및 API를 지원하는 유연한 플랫폼입니다. 대부분의 데이터 처리 및 분석 작업은 데이터프레임 API를 사용하여 수행할 수 있으며 이 모듈에서 집중적으로 다루겠습니다.
이 모듈에서는 다음 방법을 알아봅니다.
- Apache Spark 아키텍처의 주요 요소를 설명합니다.
- Spark 클러스터를 만들고 구성합니다.
- Spark의 사용 사례를 설명합니다.
- Spark를 사용하여 파일에 저장된 데이터를 처리하고 분석합니다.
- Spark를 사용하여 데이터를 시각화합니다.