Средства разработчика
Databricks предоставляет экосистему средств для разработки приложений и решений, которые интегрируются с Azure Databricks и программно управляют ресурсами и данными Databricks.
В этой статье представлен обзор этих средств и рекомендаций по лучшим средствам для распространенных сценариев разработчика.
Какие средства предоставляют Databricks для разработчиков?
В следующей таблице приведен список средств разработчика, предоставляемых Databricks.
| Средство | Description |
|---|---|
| Проверка подлинности и авторизация | Настройте проверку подлинности и авторизацию для средств, сценариев и приложений для работы с Azure Databricks. |
| Databricks Connect | Подключитесь к Azure Databricks с помощью популярных интегрированных сред разработки (IDEs), таких как PyCharm, IntelliJ IDEA, Eclipse, RStudio и JupyterLab. Если вы используете Visual Studio Code, Databricks рекомендует расширение Databricks для Visual Studio Code, созданное на основе Databricks Connect, так как предоставляет дополнительные функции для упрощения настройки. |
| Расширение Databricks для Visual Studio Code | Подключитесь к удаленным рабочим областям Azure Databricks из интегрированной среды разработки Visual Studio Code (IDE). |
| Подключаемый модуль PyCharm Databricks | Настройте подключение к удаленной рабочей области Databricks и запустите файлы в кластерах Databricks из PyCharm. Этот подключаемый модуль разработан и предоставляется JetBrains в партнерстве с Databricks. |
| Пакеты SDK databricks | Автоматизация Azure Databricks из библиотек кода, написанных для популярных языков, таких как Python, Java, Go и R. Вместо отправки вызовов REST API непосредственно с помощью curl/Postman можно использовать пакет SDK для взаимодействия с Databricks с помощью выбранного языка программирования. |
| Драйверы и средства SQL | Подключитесь к Azure Databricks для выполнения команд и скриптов SQL, программного взаимодействия с Azure Databricks и интеграции функций SQL Azure Databricks в приложения, написанные на популярных языках, таких как Python, Go, JavaScript и TypeScript. |
| CLI Databricks | Доступ к функциям Azure Databricks с помощью интерфейса командной строки Databricks (CLI). Интерфейс командной строки упаковывает REST API Databricks, поэтому вместо отправки вызовов REST API непосредственно с помощью curl или Postman можно использовать интерфейс командной строки Databricks для взаимодействия с Databricks. |
| Пакеты активов Databricks | Реализуйте рекомендации по разработке, тестированию и развертыванию (CI/CD) для данных Azure Databricks и проектов ИИ с помощью пакетов ресурсов Databricks (DAB). |
| Поставщик Databricks Terraform и Terraform CDKTF для Databricks | Подготовка инфраструктуры и ресурсов Azure Databricks с помощью Terraform. |
| Поставщик ресурсов Pulumi Databricks | Подготовка инфраструктуры и ресурсов Azure Databricks с помощью инфраструктуры Pulumi как кода (IaC). |
| Средства CI/CD | Интеграция популярных систем CI/CD и платформ, таких как GitHub Actions, Jenkins и Apache Airflow. |
Совет
Вы также можете подключить множество дополнительных популярных сторонних средств к кластерам и хранилищам SQL для доступа к данным в Azure Databricks. Ознакомьтесь с партнерами по технологиям.
Какое средство разработчика следует использовать?
В следующей таблице приведены рекомендации по инструменту Databricks для распространенных сценариев разработчика.
| Сценарии | Рекомендация |
|---|---|
| — интерактивная разработка и отладка из локальной интегрированной среды разработки | Расширение Databricks для Visual Studio Code Подключаемый модуль PyCharm Databricks Для других удостоверений используйте интерфейс командной строки Databricks с Databricks Connect |
| — прямое взаимодействие с Databricks из командной строки — скрипты оболочки -Экспериментирование — Вызов REST API напрямую — управление профилями локальной проверки подлинности — Синхронизация кода из интегрированной среды разработки с рабочей областью Databricks |
CLI Databricks |
| — управление рабочими процессами и развертывание проектов в Databricks — Применение рекомендаций CI/CD — совместное развертывание ресурсов и ресурсов в виде одного урока, совместное создание и развертывание ресурсов — Поддерживает наиболее распространенные ресурсы |
Наборы активов Databricks (функция интерфейса командной строки) |
| — инфраструктура как код, CI/CD — администрирование и создание рабочих областей, каталогов, хранилищ метаданных и применение разрешений — гарантирует переносимость среды и аварийное восстановление — многие поддерживаемые ресурсы |
Поставщик Terraform для Databricks |
| — разработка приложений — интеграция с существующими системами развертывания — создание пользовательских рабочих процессов Databricks и новых веб-служб |
Databricks Python SDK Databricks Java SDK Databricks Go SDK Databricks R SDK |
| — только расширенные сценарии — Почти все ресурсы Databricks доступны |
REST API Databricks |