Azure Databricks 통합 개요

Databricks는 다양한 데이터 원본 및 BI 도구에 연결하기 위한 통합을 제공합니다. 또한 Databricks 개발자 도구를 사용하여 로컬 컴퓨터에서 Databricks에 연결하여 워크플로를 자동화하고 사용자 지정 솔루션을 빌드할 수 있습니다.

파트너 연결

파트너 연결은 유효성이 검사된 솔루션이 Databricks 클러스터 및 SQL 웨어하우스와 보다 빠르고 쉽게 통합할 수 있도록 하는 사용자 인터페이스입니다.

자세한 내용은 Databricks 파트너 연결이란?을 참조하세요.

데이터 원본

Databricks는 데이터를 읽고 CSV, Delta Lake, JSON, Parquet, XML 및 기타 형식과 같은 다양한 데이터 형식뿐만 아니라 Amazon S3, Google BigQuery 및 Cloud Storage, Snowflake 및 기타 공급자와 같은 데이터 스토리지 공급자에 데이터를 쓸 수 있습니다.

데이터 수집, 데이터 원본 및 외부 서비스에 연결 및데이터 형식 옵션을 참조하세요.

BI 도구

Databricks는 Power BI, Tableau 등 원하는 BI 도구와의 통합을 검증하여 Databricks 클러스터 및 SQL 웨어하우스를 통해 데이터를 작업할 수 있도록 했으며, 대부분의 경우 코드가 낮고 코드가 없는 환경이 있습니다.

연결 지침이 포함된 포괄적인 목록은 BI 및 시각화를 참조하세요.

기타 ETL 도구

Databricks는 모든 종류의 데이터 원본에 대한 액세스 외에도 dbt, 예언 및 Azure Data Factory와 같은 ETL/ELT 도구에 대한 통합을 제공합니다. 및 Airflow와 같은 데이터 파이프라인 오케스트레이션 도구 DataGrip, DBeaver 및 SQL Workbench/J와 같은 SQL 데이터베이스 도구

연결 지침은 데이터 준비 및 변환 및SQL 커넥터, 라이브러리, 드라이버, API 및 도구를 참조하세요.

Databricks 앱

Databricks 앱을 사용하면 개발자가 Databricks 플랫폼에서 직접 보안 데이터 및 AI 애플리케이션을 빌드하고 배포할 수 있으므로 별도의 인프라가 필요하지 않습니다. 앱은 서버리스 플랫폼에서 실행되며 데이터 거버넌스용 Unity 카탈로그, 데이터 쿼리를 위한 Databricks SQL 및 인증을 위한 OAuth를 비롯한 주요 플랫폼 서비스와 통합됩니다.

자세한 내용은 Databricks 앱을 참조하세요.

Git 폴더

Databricks Git 폴더는 즐겨 찾는 Git 공급자와 리포지토리 수준 통합을 제공하므로 Databricks Notebook에서 코드를 개발하고 원격 Git 리포지토리와 동기화할 수 있습니다. Azure Databricks Git 폴더를 참조하세요.

개발자 도구

Databricks는 프로그래밍 방식으로 워크플로를 실행하고 SQL 웨어하우스를 포함한 Azure Databricks 컴퓨팅에 액세스하고 선호하는 IDE에서 Databricks와 통합되는 사용자 지정 솔루션을 빌드할 수 있는 Databricks CLI 및 Databricks Connect와 같은 개발자 도구를 제공합니다.

개발자를 지원하는 포괄적인 도구 목록은 Databricks에서 개발을 참조하세요.