Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Замечание
В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.
В этой статье приведены требования к использованию для Databricks Connect. Дополнительные сведения о Databricks Connect см. в разделе Databricks Connect.
Требования к рабочей области
Чтобы использовать Databricks Connect для подключения к рабочей области:
Учетная запись Azure Databricks и рабочая область должны включать каталог Unity. См. статью "Начало работы с каталогом Unity " и включение рабочей области для каталога Unity.
Версия среды выполнения Databricks вашего вычислительного кластера должна быть больше или равна версии пакета Databricks Connect. Databricks рекомендует использовать последний пакет Databricks Connect, соответствующий версии среды выполнения Databricks.
Чтобы использовать функции, доступные в более поздних версиях среды выполнения Databricks, необходимо обновить пакет Databricks Connect. См. заметки о выпуске Databricks Connect, чтобы узнать о доступных версиях Databricks Connect. Для заметок о выпуске версий Databricks Runtime см. заметки о выпусках версий и совместимости Databricks Runtime.
Если вы подключаетесь к бессерверным вычислениям, рабочая область должна соответствовать требованиям для бессерверных вычислений.
Замечание
Бессерверные вычисления поддерживаются начиная с Databricks Connect версии 15.1. Версии Databricks Connect, которые ниже или равны выпуску Databricks Runtime в бессерверном режиме, полностью совместимы. См. заметки о выпуске. Чтобы проверить, совместима ли версия Databricks Connect с бессерверными вычислениями, см. статью "Проверка подключения к Databricks".
Если вы подключаетесь к кластеру, целевой кластер должен использовать режим доступа к кластеру назначенного или общего доступа. См. режимы доступа.
Требования к локальной среде
Чтобы установить Databricks Connect, локальная среда разработки должна соответствовать следующим требованиям:
Python
Проверка подлинности в Databricks настроена. В зависимости от типа проверки подлинности Databricks могут потребоваться следующие требования:
Для проверки подлинности OAuth на компьютере (U2M) необходимо использовать интерфейс командной строки Databricks для проверки подлинности перед запуском кода. Ознакомьтесь с руководством Databricks Connect для Python.
Аутентификация OAuth "пользователь — компьютер" (U2M) и "компьютер — компьютер" (M2M) поддерживаются в пакете SDK Databricks для Python версии 0.19.0 и более поздних. Чтобы обновить установленную версию Databricks SDK для Python в вашем проекте, см. Начало работы с Databricks SDK для Python.
Python 3 установлен, и младшая версия Python соответствует требованиям к версии в таблице совместимости version ниже.
Если вы используете определяемые пользователем функции (UDFs), локальная дополнительная версия Python соответствует дополнительной версии Python версии databricks Runtime кластера или бессерверных вычислений. Чтобы узнать минорную версию Python версии Databricks Runtime вашего кластера, обратитесь к разделу System environment заметок о релизе Databricks Runtime для этой версии. Ознакомьтесь с заметками о выпуске Databricks Runtime, версиями и совместимостью и с заметками о выпуске бессерверных вычислений.
Scala
Проверка подлинности в Databricks настроена. В зависимости от типа проверки подлинности Databricks могут потребоваться следующие требования:
Для проверки подлинности OAuth на компьютере (U2M) необходимо использовать интерфейс командной строки Databricks для проверки подлинности перед запуском кода. Ознакомьтесь с руководством по Databricks Connect для Scala.
Аутентификация OAuth User-to-Machine (U2M) и аутентификация OAuth Machine-to-Machine (M2M) поддерживаются в пакете SDK Databricks для Java 0.18.0 и более поздние версии. См. раздел Начало работы с Databricks SDK для Java, чтобы обновить установленную версию пакета Databricks SDK для Java в вашем проекте.
Для Databricks Runtime 13.3 LTS и более поздних версий, Databricks Connect включает SDK Databricks для Java для Scala. Этот пакет SDK реализует стандарт унифицированной проверки подлинности Databricks .
Устанавливается пакет средств разработки Java (JDK). Databricks рекомендует, чтобы версия установки JDK соответствовала версии JDK в кластере Azure Databricks. Чтобы определить версию JDK вашей среды выполнения Databricks в кластере, см. раздел Системная среда в примечаниях к выпуску Databricks или таблице совместимости версий.
Замечание
Использование JDK-версии, которая не соответствует версии JDK кластера, может вызвать непредвиденное поведение или предотвратить выполнение кода.
Scala устанавливается. Databricks рекомендует, чтобы версия установки Scala соответствовала версии Scala в кластере Azure Databricks. Чтобы найти версию Scala для версии среды выполнения Databricks в вашем кластере, см. раздел Системная среда в заметках о выпуске Databricks Runtime или таблицу совместимости версий.
Если вы используете определяемые пользователем функции (UDFs), локальные версии Scala и Java соответствуют версиям Scala и Java версии среды выполнения Databricks кластера. Чтобы узнать версию Scala и Java для версии среды выполнения Databricks вашего кластера, обратитесь к разделу System environment в заметках о выпуске Databricks Runtime или к таблице совместимости версий ниже.
Устанавливается средство сборки Scala, например sbt.
Версии Databricks Connect
В следующей таблице показаны поддерживаемые версии Databricks Connect и совместимые языковые версии. Номера версий Databricks Connect соответствуют номерам версий Databricks Runtime. См. заметки о выпуске Databricks Connect, чтобы узнать о доступных версиях Databricks Connect. Для заметок о выпуске версий Databricks Runtime см. заметки о выпусках версий и совместимости Databricks Runtime.
Python
Сведения о поддержке UDF см. в базовой среде Python.
| Версия Databricks Connect | Тип вычисления | Совместимая версия Python |
|---|---|---|
| От 18.0 до 18.1 | Cluster | 3.12 |
| 18,0 | Бессерверный, версия 5 | 3.12 |
| От 17.2 до 17.3 | Бессерверный, версия 4 | 3.12 |
| От 17.2 до 17.3 | Cluster | 3.12 |
| 16.4.1 до значения ниже 17 | Бессерверный, версия 3 | 3.12 |
| 16.4 | Cluster | 3.12 |
| 15.4.10 до ниже 16 | Бессерверный, версия 2 | 3.11 |
| 15.4 | Cluster | 3.11 |
| 14.3 | Cluster | 3,10 |
| 13.3 | Cluster | 3,10 |
Scala
| Версия Databricks Connect | Тип вычисления | Версия JDK | Версия Scala |
|---|---|---|---|
| От 18.0 до 18.1 | Cluster | JDK 21 | 2.13.16 |
| От 17.2 до 17.3 | Бессерверный, версия 4 | JDK 17 | 2.13.16 |
| От 17.2 до 17.3 | Cluster | JDK 17 | 2.13.16 |
| 16.4 | Cluster | JDK 17 | 2.12.18 |
| 15.4 | Cluster | JDK 8 | 2.12.18 |
| 14.3 | Cluster | JDK 8 | 2.12.15 |
| 13.3 | Cluster | JDK 8 | 2.12.15 |
Версии с завершением поддержки
Databricks Connect следует жизненным циклам поддержки Databricks Runtime. Следующие версии достигли окончания поддержки. Если вы используете версию Databricks Connect, которая достигла конца поддержки, обновите ее до поддерживаемой версии.
Python
| Версия Databricks Connect | Тип вычисления | Совместимая версия Python |
|---|---|---|
| От 17.0 до 17.1 | Бессерверный, версия 4 | 3.12 |
| 16.0 до 16.4.0 | Serverless | Совместимая версия Python отсутствует. Обновление до Databricks Connect 16.4.1 или более поздней версии. |
| 16.0 до 16.3 | Cluster | 3.12 |
| 15.1–15.4.9 | Serverless | Совместимая версия Python отсутствует. Обновление до Databricks Connect 15.4.10 или более поздней версии. |
| От 15.1 до 15.3 | Cluster | 3.11 |
| от 14.0 до 14.2 | Cluster | 3,10 |
| 13.0 до 13.2 | Cluster | 3,10 |
Scala
| Версия Databricks Connect | Тип вычисления | Версия JDK | Версия Scala |
|---|---|---|---|
| 16.0 до 16.3 | Cluster | JDK 17 | 2.12.18 |
| От 15.1 до 15.3 | Cluster | JDK 8 | 2.12.18 |
| от 14.0 до 14.2 | Cluster | JDK 8 | 2.12.15 |