開發人員工具
Databricks 提供工具生態系統,可協助您開發與 Azure Databricks 整合的應用程式和解決方案,並以程式設計方式管理 Databricks 資源和數據。
本文提供這些工具的概觀,以及適用於常見開發人員案例的最佳工具建議。
Databricks 為開發人員提供哪些工具?
下表提供 Databricks 所提供的開發人員工具清單。
工具 | 描述 |
---|---|
驗證與授權 | 設定工具、腳本和應用程式的驗證和授權,以使用 Azure Databricks。 |
Databricks Connect | 使用 PyCharm、IntelliJ IDEA、Eclipse、RStudio 和 JupyterLab 等熱門集成開發環境連線到 Azure Databricks。 如果您使用 Visual Studio Code,Databricks 建議 以 Databricks Connect 為基礎建置的 Visual Studio Code 的 Databricks 擴充功能,因為它提供其他功能來啟用更輕鬆的設定。 |
適用於 Visual Studio Code 的 Databricks 延伸模組 | 從 Visual Studio Code 集成開發環境 (IDE) 連線到遠端 Azure Databricks 工作區。 |
PyCharm Databricks 外掛程式 | 設定遠端 Databricks 工作區的連線,並從 PyCharm 在 Databricks 叢集上執行檔案。 此外掛程式是由 JetBrains 與 Databricks 合作開發及提供。 |
Databricks SDK | 從針對 Python、Java、Go 和 R 等熱門語言撰寫的程式代碼連結庫,將 Azure Databricks 自動化。您可以使用 SDK,使用您選擇的程式設計語言來與 Databricks 互動,而不是使用 curl/ Postman 直接傳送 REST API 呼叫。 |
SQL 驅動程式和工具 | 聯機到 Azure Databricks 以執行 SQL 命令和腳本、以程式設計方式與 Azure Databricks 互動,並將 Azure Databricks SQL 功能整合到以 Python、Go、JavaScript 和 TypeScript 等熱門語言撰寫的應用程式。 |
Databricks CLI | 使用 Databricks 命令行介面 (CLI) 存取 Azure Databricks 功能。 CLI 會包裝 Databricks REST API,因此您可以使用 Databricks CLI 來與 Databricks 互動,而不是使用 curl 或 Postman 直接傳送 REST API 呼叫。 |
Databricks Asset Bundles | 使用 Databricks 資產組合(DAB)為您的 Azure Databricks 數據和 AI 專案實作業界標準開發、測試和部署 (CI/CD) 最佳做法。 |
Databricks Terraform 提供者 和 Terraform CDKTF for Databricks | 使用 Terraform 布建 Azure Databricks 基礎結構和資源。 |
Pulumi Databricks 資源提供者 | 使用 Pulumi 基礎結構即程式代碼 (IaC) 布建 Azure Databricks 基礎結構和資源。 |
CI/CD 工具 | 整合熱門的 CI/CD 系統和架構,例如 GitHub Actions、 Jenkins 和 Apache Airflow。 |
提示
您也可以將許多其他熱門的第三方工具連線到叢集和 SQL 倉儲,以存取 Azure Databricks 中的數據。 請參閱技術合作夥伴。
我應該使用哪一個開發人員工具?
下表概述常見開發人員案例的 Databricks 工具建議。
案例 | 建議 |
---|---|
- 從本機 IDE 進行互動式開發和偵錯 | 適用於 Visual Studio Code 的 Databricks 延伸模組 PyCharm Databricks 外掛程式 若為其他 IDE,請使用 Databricks CLI 搭配 Databricks Connect |
- 從命令行直接與 Databricks 互動 - 殼層腳本 -實驗 - 直接叫用 REST API - 管理本機驗證配置檔 - 將程式代碼從 IDE 同步處理至 Databricks 工作區 |
Databricks CLI |
- 管理工作流程並將專案部署至 Databricks - 套用 CI/CD 最佳做法 - 共同版本、共同撰寫、共同部署您的資源和資產作為一個單位 - 支援最常見的資源 |
Databricks 資產套件組合 (CLI 的功能) |
- 基礎結構即程序代碼、CI/CD - 管理和建立工作區、目錄、中繼存放區,以及強制執行許可權 - 保證環境可移植性和災害復原 - 許多支持的資源 |
Databricks Terraform 提供者 |
- 應用程式開發 - 與現有的部署系統整合 - 建立自定義 Databricks 工作流程和新的 Web 服務 |
Databricks Python SDK Databricks Java SDK Databricks Go SDK Databricks R SDK |
- 僅限進階案例 - 幾乎所有的 Databricks 資源都可以使用 |
Databricks REST API |