Требования к использованию Databricks Connect

Замечание

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье приведены требования к использованию для Databricks Connect. Дополнительные сведения о Databricks Connect см. в разделе "Что такое Databricks Connect?".

Требования к рабочей области

Чтобы использовать Databricks Connect для подключения к рабочей области:

• Учетная запись Azure Databricks и рабочая область должны включать каталог Unity. См. статью "Начало работы с каталогом Unity " и включение рабочей области для каталога Unity.

• Версия среды выполнения Databricks должна быть больше или равна версии пакета Databricks Connect. Databricks рекомендует использовать последний пакет Databricks Connect, соответствующий версии среды выполнения Databricks.

  Чтобы использовать функции, доступные в более поздних версиях среды выполнения Databricks, необходимо обновить пакет Databricks Connect. См. заметки о выпуске Databricks Connect, чтобы узнать о доступных версиях Databricks Connect. Для заметок о выпуске версий Databricks Runtime см. заметки о выпусках версий и совместимости Databricks Runtime.

• Если вы подключаетесь к бессерверным вычислениям, рабочая область должна соответствовать требованиям для бессерверных вычислений.

  Замечание

  Бессерверные вычисления поддерживаются начиная с Databricks Connect версии 15.1. Версии Databricks Connect, которые ниже или равны выпуску Databricks Runtime в бессерверном режиме, полностью совместимы. См . заметки о выпуске. Чтобы проверить, совместима ли версия Databricks Connect с бессерверными вычислениями, см. статью "Проверка подключения к Databricks".

• Если вы подключаетесь к кластеру, целевой кластер должен использовать режим доступа к кластеру назначенного или общего доступа. См. режимы доступа.

Требования к локальной среде

Чтобы установить Databricks Connect, локальная среда разработки должна соответствовать следующим требованиям:

Питон

• Проверка подлинности в Databricks настроена. В зависимости от типа проверки подлинности Databricks могут потребоваться следующие требования:

  • Для проверки подлинности OAuth на компьютере (U2M) необходимо использовать интерфейс командной строки Databricks для проверки подлинности перед запуском кода. Ознакомьтесь с руководством по Databricks Connect для Python.

  • Проверка подлинности OAuth на компьютере (U2M) и проверка подлинности OAuth на компьютере (M2M) поддерживаются в пакете SDK Databricks для Python 0.19.0 и более поздних версий. Чтобы обновить установленную версию пакета SDK Databricks для Python, ознакомьтесь с пакетом SDK Databricks для Python.

• Python 3 устанавливается, а дополнительная версия Python соответствует требованиям к версии в таблице совместимости версий ниже.

• Если вы используете определяемые пользователем функции (УДФ), локальная дополнительная версия Python соответствует дополнительной версии Python версии Среды выполнения Databricks кластера или бессерверных вычислений. Чтобы найти минорную версию Python в версии среды выполнения Databricks для вашего кластера, обратитесь к разделу Системная среда заметок о выпуске Databricks Runtime для этой версии. Ознакомьтесь с заметками о выпуске Databricks Runtime и версиями совместимости и заметками о выпуске бессерверных вычислений.

Scala

• Проверка подлинности в Databricks настроена. В зависимости от типа проверки подлинности Databricks могут потребоваться следующие требования:

  • Для проверки подлинности OAuth на компьютере (U2M) необходимо использовать интерфейс командной строки Databricks для проверки подлинности перед запуском кода. Ознакомьтесь с руководством по Databricks Connect для Scala.

  • Проверка подлинности OAuth на компьютере (U2M) и проверка подлинности OAuth на компьютере (M2M) поддерживаются в пакете SDK Databricks для Java 0.18.0 и более поздних версий. Сведения об обновлении установленной версии пакета SDK Databricks для Java см. в статье "Начало работы с пакетом SDK Databricks для Java".

  • Для Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий для Scala Databricks Connect включает пакет SDK Databricks для Java. Этот пакет SDK реализует стандарт унифицированной проверки подлинности Databricks .

• Установлен пакет средств разработки Java (JDK). Databricks рекомендует, чтобы версия установки JDK соответствовала версии JDK в кластере Azure Databricks. Чтобы найти версию JDK среды выполнения Databricks в кластере, см. раздел " Системная среда выполнения" заметки о выпуске Databricks илитаблица совместимости версий.

  Замечание

  Использование JDK-версии, которая не соответствует версии JDK кластера, может вызвать непредвиденное поведение или предотвратить выполнение кода.

• Scala устанавливается. Databricks рекомендует, чтобы версия установки Scala соответствовала версии Scala в кластере Azure Databricks. Чтобы найти версию Scala версии среды выполнения Databricks в кластере, ознакомьтесь с разделом "Системная средавыполнения" примечаний о выпуске Databricks илитаблице совместимости версий.

• Если вы используете определяемые пользователем функции (UDFS), локальные версии Scala и Java соответствуют версиям Scala и Java версии среды выполнения Databricks кластера. Чтобы найти версии Scala и Java для версии среды выполнения Databricks в кластере, ознакомьтесь с разделом "Системная средавыполнения" примечаний о выпуске Databricks илитаблице совместимости версий ниже.

• Устанавливается средство сборки Scala, например sbt.

Версии Databricks Connect

В следующей таблице показаны поддерживаемые версии Databricks Connect и совместимые языковые версии. Номера версий Databricks Connect соответствуют номерам версий Databricks Runtime. См. заметки о выпуске Databricks Connect, чтобы узнать о доступных версиях Databricks Connect. Для заметок о выпуске версий Databricks Runtime см. заметки о выпусках версий и совместимости Databricks Runtime.

Питон

Сведения о поддержке UDF см. в базовой среде Python.

Версия Databricks Connect	Тип вычисления	Совместимая версия Python
17.0.x до 17.3.x	Бессерверный, версия 4	3.12
16.4.1 до 17.0.x	Бессерверный, версия 3	3.12
16.4.x и выше	Cluster	3.12
15.4.10 до 16.0.x	Бессерверный, версия 2	3.11
15.4.x	Cluster	3.11
13.3.x и 14.3.x	Cluster	3,10

Scala

Версия Databricks Connect	Тип вычисления	Версия JDK	Версия Scala
17.3.x	Бессерверный, версия 4 Функции, определяемые пользователем (UDF), пока не поддерживаются. См. Ограничения.	JDK 17	2.13.16
17.0.x до 17.2.x	Бессерверный, версия 4	JDK 17	2.13.16
16.4.x и выше	Cluster	JDK 17	2.12.18
15.4.x	Cluster	JDK 8	2.12.18
13.3.x и 14.3.x	Cluster	JDK 8	2.12.15

Версии для завершения поддержки

Databricks Connect следует жизненным циклам поддержки Databricks Runtime. Следующие версии достигли конца поддержки. Если вы используете версию Databricks Connect, которая достигла конца поддержки, обновите ее до поддерживаемой версии.

Питон

Версия Databricks Connect	Тип вычисления	Совместимая версия Python
16.0.0 до 16.4.0	Serverless	Совместимая версия Python отсутствует. Обновление до Databricks Connect 16.4.1 или более поздней версии.
16.0.x до 16.3.x	Cluster	3.12
15.1.0 до 15.4.9	Serverless	Совместимая версия Python отсутствует. Обновление до Databricks Connect 15.4.10 или более поздней версии.
15.1.x до 15.3.x	Cluster	3.11
14.0.x до 14.2.x	Cluster	3,10
13.0.x до 13.2.x	Cluster	3,10

Scala

Версия Databricks Connect	Тип вычисления	Версия JDK	Версия Scala
16.0.x до 16.3.x	Cluster	JDK 17	2.12.18
15.1.x до 15.3.x	Cluster	JDK 8	2.12.18
14.0.x до 14.2.x	Cluster	JDK 8	2.12.15