개발자 도구
Databricks는 Azure Databricks와 통합되고 프로그래밍 방식으로 Databricks 리소스 및 데이터를 관리하는 애플리케이션 및 솔루션을 개발하는 데 도움이 되는 도구 에코시스템을 제공합니다.
이 문서에서는 일반적인 개발자 시나리오에 가장 적합한 도구에 대한 이러한 도구 및 권장 사항에 대한 개요를 제공합니다.
Databricks는 개발자에게 어떤 도구를 제공하나요?
다음 표에서는 Databricks에서 제공하는 개발자 도구 목록을 제공합니다.
| 도구 | 설명 |
|---|---|
| 인증 및 권한 부여 | Azure Databricks에서 작동하도록 도구, 스크립트 및 앱에 대한 인증 및 권한 부여를 구성합니다. |
| Databricks Connect | PyCharm, IntelliJ IDEA, Eclipse, RStudio 및 JupyterLab과 같은 인기 있는 IDE(통합 개발 환경)를 사용하여 Azure Databricks에 연결합니다. Visual Studio Code를 사용하는 경우 Databricks는 Databricks Connect를 기반으로 빌드된 Visual Studio Code용 Databricks 확장을 권장합니다. 이 확장은 더 쉬운 구성을 가능하게 하는 추가 기능을 제공합니다. |
| Visual Studio Code용 Databricks 확장 | Visual Studio Code IDE(통합 개발 환경)에서 원격 Azure Databricks 작업 영역에 연결합니다. |
| PyCharm Databricks 플러그 인 | 원격 Databricks 작업 영역에 대한 연결을 구성하고 PyCharm에서 Databricks 클러스터에서 파일을 실행합니다. 이 플러그 인은 Databricks와 협력하여 JetBrains에서 개발하고 제공합니다. |
| Databricks SDK | Python, Java, Go 및 R과 같은 인기 있는 언어용으로 작성된 코드 라이브러리에서 Azure Databricks를 자동화합니다. curl/Postman을 사용하여 REST API 호출을 직접 보내는 대신 SDK를 사용하여 선택한 프로그래밍 언어를 사용하여 Databricks와 상호 작용할 수 있습니다. |
| SQL 드라이버 및 도구 | Azure Databricks에 연결하여 SQL 명령 및 스크립트를 실행하고, Azure Databricks와 프로그래밍 방식으로 상호 작용하고, Azure Databricks SQL 기능을 Python, Go, JavaScript 및 TypeScript와 같은 인기 있는 언어로 작성된 애플리케이션에 통합합니다. |
| Databricks CLI | Databricks CLI(명령줄 인터페이스)를 사용하여 Azure Databricks 기능에 액세스합니다. CLI는 Databricks REST API를 래핑하므로 curl 또는 Postman을 사용하여 REST API 호출을 직접 보내는 대신 Databricks CLI를 사용하여 Databricks와 상호 작용할 수 있습니다. |
| Databricks 자산 번들 | DAB(Databricks Asset Bundles)를 사용하여 Azure Databricks 데이터 및 AI 프로젝트에 대한 업계 표준 개발, 테스트 및 배포(CI/CD) 모범 사례를 구현합니다. |
| Databricks Terraform 공급자 및 Databricks용 Terraform CDKTF | Terraform을 사용하여 Azure Databricks 인프라 및 리소스를 프로비전합니다. |
| Pulumi Databricks 리소스 공급자 | Pulumi IaC(Infrastructure-as-code)를 사용하여 Azure Databricks 인프라 및 리소스를 프로비전합니다. |
| CI/CD 도구 | GitHub Actions, Jenkins 및 Apache Airflow와 같은 인기 있는 CI/CD 시스템 및 프레임워크를 통합합니다. |
팁
인기 있는 다른 타사 도구를 클러스터 및 SQL 웨어하우스에 연결하여 Azure Databricks의 데이터에 액세스할 수도 있습니다. 기술 파트너를 참조하세요.
어떤 개발자 도구를 사용해야 하나요?
다음 표에서는 일반적인 개발자 시나리오에 대한 Databricks 도구 권장 사항을 간략하게 설명합니다.
| 시나리오 | 추천 |
|---|---|
| - 로컬 IDE에서 대화형 개발 및 디버깅 | Visual Studio Code용 Databricks 확장 PyCharm Databricks 플러그 인 다른 IDE의 경우 Databricks Connect에서 Databricks CLI를 사용합니다. |
| - 명령줄에서 Databricks와 직접 상호 작용 - 셸 스크립팅 -실험 - REST API 직접 호출 - 로컬 인증 프로필 관리 - IDE에서 Databricks 작업 영역으로 코드 동기화 |
Databricks CLI |
| - 워크플로 관리 및 Databricks에 프로젝트 배포 - CI/CD 모범 사례 적용 - 리소스 및 자산을 하나의 단위로 공동 버전, 공동 작성, 공동 배포 - 가장 일반적인 리소스 지원 |
Databricks 자산 번들 (CLI의 기능) |
| - 코드로서의 인프라, CI/CD - 작업 영역, 카탈로그, 메타스토어 관리 및 만들기 및 권한 적용 - 환경 이식성 및 재해 복구 보장 - 지원되는 많은 리소스 |
Databricks Terraform 공급자 |
| - 애플리케이션 개발 - 기존 배포 시스템과 통합 - 사용자 지정 Databricks 워크플로 및 새 웹 서비스 만들기 |
Databricks Python SDK Databricks Java SDK Databricks Go SDK Databricks R SDK |
| - 고급 시나리오만 - 거의 모든 Databricks 리소스를 사용할 수 있습니다. |
Databricks REST API |