Требования к использованию Databricks Connect

Замечание

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье приведены требования к использованию для Databricks Connect. Дополнительные сведения о Databricks Connect см. в разделе Databricks Connect.

Требования к рабочей области

Чтобы использовать Databricks Connect для подключения к рабочей области:

• Учетная запись Azure Databricks и рабочая область должны включать каталог Unity. См. статью "Начало работы с каталогом Unity " и включение рабочей области для каталога Unity.

• Версия среды выполнения Databricks вашего вычислительного кластера должна быть больше или равна версии пакета Databricks Connect. Databricks рекомендует использовать последний пакет Databricks Connect, соответствующий версии среды выполнения Databricks.

  Чтобы использовать функции, доступные в более поздних версиях среды выполнения Databricks, необходимо обновить пакет Databricks Connect. См. заметки о выпуске Databricks Connect, чтобы узнать о доступных версиях Databricks Connect. Для заметок о выпуске версий Databricks Runtime см. заметки о выпусках версий и совместимости Databricks Runtime.

• Если вы подключаетесь к бессерверным вычислениям, рабочая область должна соответствовать требованиям для бессерверных вычислений.

  Замечание

  Бессерверные вычисления поддерживаются начиная с Databricks Connect версии 15.1. Версии Databricks Connect, которые ниже или равны выпуску Databricks Runtime в бессерверном режиме, полностью совместимы. См. заметки о выпуске. Чтобы проверить, совместима ли версия Databricks Connect с бессерверными вычислениями, см. статью "Проверка подключения к Databricks".

• Если вы подключаетесь к кластеру, целевой кластер должен использовать режим доступа к кластеру назначенного или общего доступа. См. режимы доступа.

Important

Databricks Connect не поддерживает подключение к открытый код серверам Apache Spark. См. Ошибки при подключении к серверу Apache Spark.

Требования к локальной среде

Чтобы установить Databricks Connect, локальная среда разработки должна соответствовать следующим требованиям:

Python

• Проверка подлинности в Databricks настроена. В зависимости от типа проверки подлинности Databricks могут потребоваться следующие требования:

  • Для проверки подлинности OAuth на компьютере (U2M) необходимо использовать интерфейс командной строки Databricks для проверки подлинности перед запуском кода. Сведения об установке и настройке интерфейса командной строки Databricks см. в разделе "Установка или обновление интерфейса командной строки Databricks". См. также руководство Databricks Connect для Python.

  • Аутентификация OAuth "пользователь — компьютер" (U2M) и "компьютер — компьютер" (M2M) поддерживаются в пакете SDK Databricks для Python версии 0.19.0 и более поздних. Чтобы обновить установленную версию Databricks SDK для Python в вашем проекте, см. Начало работы с Databricks SDK для Python.

• Python 3 установлен, и младшая версия Python соответствует требованиям к версии в таблице совместимости version ниже.

• Если вы используете определяемые пользователем функции (UDFs), локальная дополнительная версия Python соответствует дополнительной версии Python версии databricks Runtime кластера или бессерверных вычислений. Чтобы узнать минорную версию Python версии Databricks Runtime вашего кластера, обратитесь к разделу System environment заметок о релизе Databricks Runtime для этой версии. Ознакомьтесь с заметками о выпуске Databricks Runtime, версиями и совместимостью и с заметками о выпуске бессерверных вычислений.

Scala

• Проверка подлинности в Databricks настроена. В зависимости от типа проверки подлинности Databricks могут потребоваться следующие требования:

  • Для проверки подлинности OAuth на компьютере (U2M) необходимо использовать интерфейс командной строки Databricks для проверки подлинности перед запуском кода. Сведения об установке и настройке интерфейса командной строки Databricks см. в разделе "Установка или обновление интерфейса командной строки Databricks". См. также руководство по Databricks Connect для Scala.

  • Аутентификация OAuth User-to-Machine (U2M) и аутентификация OAuth Machine-to-Machine (M2M) поддерживаются в пакете SDK Databricks для Java 0.18.0 и более поздние версии. См. раздел Начало работы с Databricks SDK для Java, чтобы обновить установленную версию пакета Databricks SDK для Java в вашем проекте.

  • Для Databricks Runtime 13.3 LTS и более поздних версий, Databricks Connect включает SDK Databricks для Java для Scala. Этот пакет SDK реализует стандарт унифицированной проверки подлинности Databricks .

• Устанавливается пакет средств разработки Java (JDK). Databricks рекомендует, чтобы версия установки JDK соответствовала версии JDK в кластере Azure Databricks. Чтобы определить версию JDK вашей среды выполнения Databricks в кластере, см. раздел Системная среда в примечаниях к выпуску Databricks или таблице совместимости версий.

  Замечание

  Использование JDK-версии, которая не соответствует версии JDK кластера, может вызвать непредвиденное поведение или предотвратить выполнение кода.

• Scala устанавливается. Databricks рекомендует, чтобы версия установки Scala соответствовала версии Scala в кластере Azure Databricks. Чтобы найти версию Scala для версии среды выполнения Databricks в вашем кластере, см. раздел Системная среда в заметках о выпуске Databricks Runtime или таблицу совместимости версий.

• Если вы используете определяемые пользователем функции (UDFs), локальные версии Scala и Java соответствуют версиям Scala и Java версии среды выполнения Databricks кластера. Чтобы узнать версию Scala и Java для версии среды выполнения Databricks вашего кластера, обратитесь к разделу System environment в заметках о выпуске Databricks Runtime или к таблице совместимости версий ниже.

• Устанавливается средство сборки Scala, например sbt.

Версии Databricks Connect

В следующей таблице показаны поддерживаемые версии Databricks Connect и совместимые языковые версии. Номера версий Databricks Connect соответствуют номерам версий Databricks Runtime. См. заметки о выпуске Databricks Connect, чтобы узнать о доступных версиях Databricks Connect. Для заметок о выпуске версий Databricks Runtime см. заметки о выпусках версий и совместимости Databricks Runtime.

Python

Сведения о поддержке UDF см. в базовой среде Python.

Версия Databricks Connect	Тип вычисления	Требуемая версия Python
18,0 до 19,0	Cluster	3.12
18.0 до 18.3	Бессерверный, версия 5	3.12
17.3	Бессерверный, версия 4	3.12
17.3	Cluster	3.12
16.4.1 до значения ниже 17	Бессерверный, версия 3	3.12
16.4	Cluster	3.12
15.4.10 до ниже 16	Бессерверный, версия 2	3.11
15.4	Cluster	3.11
14.3	Cluster	3,10
13.3	Cluster	3,10

Scala

Версия Databricks Connect	Тип вычисления	Версия JDK	Требуемая версия Scala
18,0 до 19,0	Cluster	JDK 21	2.13.16
От 17.2 до 17.3	Бессерверный, версия 4	JDK 17	2.13.16
От 17.2 до 17.3	Cluster	JDK 17	2.13.16
16.4	Cluster	JDK 17	2.12.18
15.4	Cluster	JDK 8	2.12.18
14.3	Cluster	JDK 8	2.12.15
13.3	Cluster	JDK 8	2.12.15

Версии с завершением поддержки

Databricks Connect следует жизненным циклам поддержки Databricks Runtime. Следующие версии достигли окончания поддержки. Если вы используете версию Databricks Connect, которая достигла конца поддержки, обновите ее до поддерживаемой версии.

Python

Версия Databricks Connect	Тип вычисления	Совместимая версия Python
17,0 до 17,2	Бессерверный, версия 4	3.12
17,0 до 17,2	Cluster	3.12
16.0 до 16.4.0	Serverless	Совместимая версия Python отсутствует. Обновление до Databricks Connect 16.4.1 или более поздней версии.
16.0 до 16.3	Cluster	3.12
15.1–15.4.9	Serverless	Совместимая версия Python отсутствует. Обновление до Databricks Connect 15.4.10 или более поздней версии.
От 15.1 до 15.3	Cluster	3.11
от 14.0 до 14.2	Cluster	3,10
13.0 до 13.2	Cluster	3,10

Scala

Версия Databricks Connect	Тип вычисления	Версия JDK	Версия Scala
16.0 до 16.3	Cluster	JDK 17	2.12.18
От 15.1 до 15.3	Cluster	JDK 8	2.12.18
от 14.0 до 14.2	Cluster	JDK 8	2.12.15