Databricks 데이터 엔지니어링

Databricks 데이터 엔지니어링 기능은 데이터 과학자, 데이터 엔지니어 및 데이터 분석가 간의 협업을 위한 강력한 환경입니다. 데이터 엔지니어링 작업은 Databricks 기계 학습 솔루션의 중추이기도 합니다.

참고 항목

주로 SQL 쿼리 및 BI 도구를 사용하는 데이터 분석가인 경우 Databricks SQL을 선호할 수 있습니다.

속성	다음을 원하는 경우 사용합니다.
델타 라이브 테이블	Databricks Delta Live Tables를 사용하여 수집 및 변환을 위한 데이터 파이프라인을 빌드하는 방법을 알아봅니다.
구조적 스트리밍	Databricks의 구조적 스트리밍을 통해 구동되는 스트리밍, 증분 및 실시간 워크로드에 대해 알아봅니다.
Apache Spark	Databricks 및 Databricks 플랫폼에서 Apache Spark가 작동하는 방식을 알아봅니다.
컴퓨팅	Databricks 클러스터 및 클러스터를 만들고 관리하는 방법에 대해 알아봅니다.
Notebooks	Databricks Notebook의 내용과 Notebook을 사용하고 관리하여 데이터를 처리, 분석 및 시각화하는 방법을 알아봅니다.
워크플로	Databricks 플랫폼에서 데이터 처리, 기계 학습 및 데이터 분석 워크플로를 오케스트레이션하는 방법을 알아봅니다.
라이브러리	라이브러리를 사용하여 Databricks에서 타사 또는 사용자 지정 코드를 사용할 수 있도록 하는 방법을 알아봅니다. Databricks에 라이브러리를 설치하기 위한 다양한 모드에 대해 알아봅니다.
Git 폴더	Git을 사용하여 Databricks에서 개발을 위해 Notebook 및 기타 파일을 버전 제어하는 방법을 알아봅니다.
DBFS	Databricks 작업 영역에 탑재되고 Databricks 클러스터에서 사용할 수 있는 분산 파일 시스템인 DBFS(Databricks 파일 시스템)에 대해 알아봅니다.
파일	Databricks의 파일 작업에 대한 옵션에 대해 알아봅니다.
마이그레이션	ETL 작업, 엔터프라이즈 데이터 웨어하우스, ML, 데이터 과학 및 분석과 같은 데이터 애플리케이션을 Databricks로 마이그레이션하는 방법을 알아봅니다.
최적화 및 성능	Databricks의 최적화 및 성능 권장 사항에 대해 알아봅니다.