分享方式:


開發人員工具

Databricks 提供工具生態系統,可協助您開發與 Azure Databricks 整合的應用程式和解決方案,並以程式設計方式管理 Databricks 資源和數據。

本文提供這些工具的概觀,以及適用於常見開發人員案例的最佳工具建議。

Databricks 為開發人員提供哪些工具?

下表提供 Databricks 所提供的開發人員工具清單。

工具 描述
驗證與授權 設定工具、腳本和應用程式的驗證和授權,以使用 Azure Databricks。
Databricks Connect 使用 PyCharm、IntelliJ IDEA、Eclipse、RStudio 和 JupyterLab 等熱門集成開發環境連線到 Azure Databricks。

如果您使用 Visual Studio Code,Databricks 建議 以 Databricks Connect 為基礎建置的 Visual Studio Code 的 Databricks 擴充功能,因為它提供其他功能來啟用更輕鬆的設定。
適用於 Visual Studio Code 的 Databricks 延伸模組 Visual Studio Code 集成開發環境 (IDE) 連線到遠端 Azure Databricks 工作區。
PyCharm Databricks 外掛程式 設定遠端 Databricks 工作區的連線,並從 PyCharm 在 Databricks 叢集上執行檔案。 此外掛程式是由 JetBrains 與 Databricks 合作開發及提供。
Databricks SDK 從針對 Python、Java、Go 和 R 等熱門語言撰寫的程式代碼連結庫,將 Azure Databricks 自動化。您可以使用 SDK,使用您選擇的程式設計語言來與 Databricks 互動,而不是使用 curl/ Postman 直接傳送 REST API 呼叫。
SQL 驅動程式和工具 聯機到 Azure Databricks 以執行 SQL 命令和腳本、以程式設計方式與 Azure Databricks 互動,並將 Azure Databricks SQL 功能整合到以 Python、Go、JavaScript 和 TypeScript 等熱門語言撰寫的應用程式。
Databricks CLI 使用 Databricks 命令行介面 (CLI) 存取 Azure Databricks 功能。 CLI 會包裝 Databricks REST API,因此您可以使用 Databricks CLI 來與 Databricks 互動,而不是使用 curl 或 Postman 直接傳送 REST API 呼叫。
Databricks Asset Bundles 使用 Databricks 資產組合(DAB)為您的 Azure Databricks 數據和 AI 專案實作業界標準開發、測試和部署 (CI/CD) 最佳做法。
Databricks Terraform 提供者Terraform CDKTF for Databricks 使用 Terraform 布建 Azure Databricks 基礎結構和資源。
Pulumi Databricks 資源提供者 使用 Pulumi 基礎結構即程式代碼 (IaC) 布建 Azure Databricks 基礎結構和資源。
CI/CD 工具 整合熱門的 CI/CD 系統和架構,例如 GitHub ActionsJenkinsApache Airflow

提示

您也可以將許多其他熱門的第三方工具連線到叢集和 SQL 倉儲,以存取 Azure Databricks 中的數據。 請參閱技術合作夥伴

我應該使用哪一個開發人員工具?

下表概述常見開發人員案例的 Databricks 工具建議。

案例 建議
- 從本機 IDE 進行互動式開發和偵錯 適用於 Visual Studio Code 的 Databricks 延伸模組

PyCharm Databricks 外掛程式

若為其他 IDE,請使用 Databricks CLI 搭配 Databricks Connect
- 從命令行直接與 Databricks 互動
- 殼層腳本
-實驗
- 直接叫用 REST API
- 管理本機驗證配置檔
- 將程式代碼從 IDE 同步處理至 Databricks 工作區
Databricks CLI
- 管理工作流程並將專案部署至 Databricks
- 套用 CI/CD 最佳做法
- 共同版本、共同撰寫、共同部署您的資源和資產作為一個單位
- 支援最常見的資源
Databricks 資產套件組合 (CLI 的功能)
- 基礎結構即程序代碼、CI/CD
- 管理和建立工作區、目錄、中繼存放區,以及強制執行許可權
- 保證環境可移植性和災害復原
- 許多支持的資源
Databricks Terraform 提供者
- 應用程式開發
- 與現有的部署系統整合
- 建立自定義 Databricks 工作流程和新的 Web 服務
Databricks Python SDK

Databricks Java SDK

Databricks Go SDK

Databricks R SDK
- 僅限進階案例
- 幾乎所有的 Databricks 資源都可以使用
Databricks REST API