Поделиться через

Конфигурация кластера для Databricks Connect

  • Статья

Примечание.

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье перечислены параметры конфигурации для вычислений Azure Databricks, необходимых для подключения к ним Databricks Connect. Эти сведения применяются к версии Python и Scala Databricks Connect, если не указано иное.

Databricks Connect позволяет подключать популярные идентификаторы, такие как Visual Studio Code, PyCharm, RStudio Desktop, IntelliJ IDEA, серверы записных книжек и другие пользовательские приложения к кластерам Azure Databricks. См. раздел "Что такое Databricks Connect?".

Требования

  • Учетная запись Azure Databricks и рабочая область с включенным каталогом Unity. См. статью "Настройка каталога Unity" и управление ими и включение рабочей области для каталога Unity.
  • Кластер Azure Databricks с databricks Runtime 13.3 LTS или более поздней версии.
  • Версия среды выполнения Databricks в кластере должна быть равной или выше, чем версия пакета Databricks Connect. Databricks рекомендует использовать последний пакет Databricks Connect, соответствующий версии Databricks Runtime. Если вы хотите использовать функции, доступные в более поздних версиях среды выполнения Databricks, необходимо обновить пакет Databricks Connect. См. заметки о выпуске Databricks Connect для списка доступных выпусков Databricks Connect. Заметки о выпуске версии Databricks Runtime см. в заметках о выпуске Databricks Runtime и совместимости.
  • Кластер должен использовать режим доступа к кластеру назначенного или общего доступа. См . режимы доступа.

Программная проверка

В Databricks Connect 14.3 и более поздних версиях представлен ряд validateSessionпроверок, чтобы убедиться, DatabricksSession.builder что выполнены предыдущие требования.

В Databricks Connect для Python databricks-connect двоичный test файл имеет подкоманда, который выполняет тот же набор проверок.

Эта команда должна выполняться в терминале с активной средой Python, которая включает Databricks Connect и набор учетных данных по умолчанию. Сведения о настройке этих учетных данных см. в разделе "Настройка свойств подключения".

databricks-connect test

Команда завершится ошибкой с кодом выхода без нуля и соответствующим сообщением, если какие-либо требования не выполнены.

Отключение Databricks Connect

Службы Databricks Connect (и базовые службы Spark Connect) можно отключить в любом определенном кластере.

Чтобы отключить службу Databricks Connect, задайте следующую конфигурацию Spark в кластере.

spark.databricks.service.server.enabled false

Следующие шаги