Databricks를 사용하는 데이터 엔지니어링

Databricks는 데이터 과학자, 엔지니어 및 분석가 간의 협업을 위한 강력한 환경을 포함하는 풍부한 데이터 엔지니어링 기능 집합을 제공합니다. 중앙을 통해 데이터를 수집하고 변환하는 파이프라인이 있습니다. 가장 효율적인 파이프라인을 쉽게 엔지니어링할 수 있도록 Databricks는 구조적 스트리밍 및 델타 라이브 테이블을 제공합니다. Azure Databricks의 스트리밍 및 델타 라이브 테이블이란?을 참조하세요.

구조적 스트리밍 및 델타 라이브 테이블에서 제공하는 데이터의 증분 스트림 처리가 데이터 파이프라인에 가장 적합한 이유에 대한 개요는 증분 스트림 처리 이유를 참조하세요.

추가 데이터 엔지니어링 리소스

Databricks는 여러 추가 시나리오에 대한 데이터 엔지니어링 작업에 대한 기능을 제공합니다.

• Databricks Notebook은 공동 작업을 위한 인기 있는 도구입니다.
• Databricks 작업을 사용하여 워크플로를 예약하고 오케스트레이션합니다.
• 기계 학습 솔루션을 설계하는 경우 Databricks Mosaic AI를 참조하세요.

참고 항목

주로 SQL 쿼리 및 BI 도구를 사용하는 경우 Databricks SQL을 참조하세요.

시작 자습서 및 소개 정보 정보는 Azure Databricks 시작 및 Azure Databricks란?을 참조하세요.

속성	다음을 원하는 경우 사용합니다.
Delta Live Tables	Databricks Delta Live Tables를 사용하여 수집 및 변환을 위한 데이터 파이프라인을 빌드하는 방법을 알아봅니다.
구조적 스트리밍	Databricks의 구조적 스트리밍을 통해 구동되는 스트리밍, 증분, 실시간 워크로드를 알아봅니다.