Установка Databricks Connect для Python

Примечание.

В этой статье рассматривается Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье описывается установка Databricks Connect для Python. См. Databricks Connect.

Требования

Перед установкой Databricks Connect убедитесь, что рабочая область и локальная среда соответствуют требованиям. См. сведения о требованиях к использованию Databricks Connect.

Активация виртуальной среды Python

Databricks настоятельно рекомендует активировать виртуальную среду Python для каждой версии Python, используемой для работы с Databricks Connect. Python виртуальные среды помогают убедиться, что вы используете правильные версии Python и Databricks Connect вместе. Дополнительные сведения об этих инструментах и их активации см. venv или Poetry.

Установка клиента Databricks Connect

В этом разделе описывается, как установить клиент Databricks Connect, используя venv или Poetry.

Примечание.

Если у вас уже установлено расширение Databricks для Visual Studio Code, можно установить Databricks Connect для Databricks Runtime 13.3 LTS и выше с помощью расширения. См. Отладку кода с использованием Databricks Connect для расширения Databricks в Visual Studio Code.

Установка клиента Databricks Connect с помощью venv

1. После активации виртуальной среды удалите PySpark, если оно уже установлено, выполнив uninstall команду. Это необходимо, так как пакет databricks-connect конфликтует с PySpark. Дополнительные сведения см. в разделе Конфликтующие установки PySpark. Чтобы проверить, установлен ли PySpark, выполните show команду.

   # Is PySpark already installed?
   pip3 show pyspark
   
   # Uninstall PySpark
   pip3 uninstall pyspark
   

2. С активированной виртуальной средой установите клиент Databricks Connect, выполнив команду install. --upgrade Используйте параметр для обновления любой существующей установки клиента до указанной версии.

   pip3 install --upgrade "databricks-connect==17.3.*"  # Or X.Y.* to match your cluster version.
   

   Примечание.

   Databricks рекомендует добавить нотацию "точка-звездочка", чтобы указать databricks-connect==X.Y.* вместо databricks-connect=X.Y, чтобы убедиться, что установлена последняя версия пакета. Хотя это не является обязательным требованием, он помогает убедиться, что вы можете использовать последние поддерживаемые функции для этого кластера.

Установка клиента Databricks Connect с помощью поэзии

1. После активации виртуальной среды удалите PySpark, если оно уже установлено, выполнив remove команду. Это необходимо, так как пакет databricks-connect конфликтует с PySpark. Дополнительные сведения см. в разделе Конфликтующие установки PySpark. Чтобы проверить, установлен ли PySpark, выполните show команду.

   # Is PySpark already installed?
   poetry show pyspark
   
   # Uninstall PySpark
   poetry remove pyspark
   

2. С активированной виртуальной средой, установите Databricks Connect клиент, выполнив команду add.

   poetry add databricks-connect@~17.3  # Or X.Y to match your cluster version.
   

   Примечание.

   Databricks рекомендует использовать нотацию at-tilde, чтобы указать databricks-connect@~17.3 вместо databricks-connect==17.3, чтобы убедиться, что установлен последний пакет. Хотя это не является обязательным требованием, он помогает убедиться, что вы можете использовать последние поддерживаемые функции для этого кластера.