Ограничения для Databricks Connect для Python

Примечание.

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье перечислены ограничения для Databricks Connect для Python. Databricks Connect позволяет подключать популярные среды разработки, ноутбук-серверы и пользовательские приложения к кластерам Azure Databricks. См. раздел "Что такое Databricks Connect?". Версию этой статьи для Scala см. в Ограничения с Databricks Connect для Scala.

Важный

В зависимости от версии Python, Databricks Runtime и Databricks Connect, которые вы используете, могут быть требования к версии для некоторых функций. См. сведения о требованиях к использованию Databricks Connect.

Доступность компонентов

Недоступно в Databricks Connect для Databricks Runtime 13.3 LTS и ниже:

• Трансляция foreachBatch
• Создание DataFrames, размером превышающего 128 МБ
• Длинные запросы в течение 3600 секунд

Недоступно в Databricks Connect для Databricks Runtime 15.3 и ниже:

• ApplyinPandas() и Cogroup() с вычислительными ресурсами с стандартным режимом доступа

Недоступно в Databricks Connect для Databricks Runtime 16.3 и ниже:

• На серверless вычислениях UDF не могут включать пользовательские библиотеки.

Недоступно:

• API dataframe.display()
• Служебные программы Databricks: credentials, library, notebook workflow, widgets
• Контекст Spark
• Устойчивые распределённые наборы данных
• Библиотеки, использующие RDD, контекст Spark или доступ к базовому JVM Spark, такие как Mosaic для геопространственных данных, GraphFrames или GreatExpectations
• CREATE TABLE <table-name> AS SELECT (вместо этого используйте spark.sql("SELECT ...").write.saveAsTable("table"))
• Изменение уровня ведения журнала log4j с помощью SparkContext
• Обучение распределенного машинного обучения не поддерживается.
• Синхронизация локальной среды разработки с удаленным кластером