通过

Databricks Connect for Python 的限制

注意

本文介绍适用于 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect。

本文列出了 Databricks Connect for Python 的限制。 Databricks Connect 使你能够将常用 IDE、笔记本服务器和自定义应用程序连接到Azure Databricks群集。 请参阅 Databricks Connect。 有关本文的 Scala 版本，请参阅 Databricks Connect for Scala 中的限制。

重要

根据所使用的 Python、Databricks Runtime 和 Databricks Connect 的版本，某些功能可能存在版本要求。 请参阅 Databricks Connect 使用情况要求。

功能可用性

在 Databricks Runtime 13.3 LTS 及更低版本中，Databricks Connect 上不可用。

  • 流式处理 foreachBatch
  • 创建大于 128 MB 的数据帧
  • 超过 3600 秒的长查询

Databricks Connect for Databricks Runtime 15.3 及以下版本不可用：

  • ApplyinPandas() 和 Cogroup() 使用具有标准访问模式的计算

Databricks Connect 在 Databricks Runtime 16.3 及以下版本上不可用：

  • 在无服务器计算中，UDF 不能包含自定义库。

暂无

  • dataframe.display() 应用程序接口
  • Databricks 实用工具：credentials、library、notebook workflow、widgets
  • Spark 上下文
  • 多个RDD
  • 使用 RDD、Spark Context 或访问底层 Spark JVM 的库，例如 Mosaic 地理空间、GraphFrames 或 GreatExpectations
  • CREATE TABLE <table-name> AS SELECT（改用 spark.sql("SELECT ...").write.saveAsTable("table")）
  • 通过 SparkContext 更改 log4j 日志级别
  • 不支持分布式 ML 训练。
  • 将本地开发环境与远程群集同步
  • Last updated on