Databricks Connect for Python 的限制

注意

本文探討適用於 Databricks Runtime 13.3 LTS 及以上版本的 Databricks Connect。

本文列出了 Databricks Connect for Python 的限制。 Databricks Connect 讓您能將熱門的 IDE、筆記型電腦伺服器及自訂應用程式連接到 Azure Databricks 叢集。 請參閱 Databricks Connect。 如需本文的 Scala 版本，請參閱 適用於 Scala 的 Databricks Connect 限制。

重要

根據你使用的 Python、Databricks Runtime 和 Databricks Connect 版本，某些功能可能會有版本限制。 請參閱 Databricks Connect 使用需求。

功能可用性

Databricks Connect for Databricks Runtime 13.3 LTS 和以下版本無法使用：

  • 串流 foreachBatch
  • 建立大於 128 MB 的數據框架
  • 超過 3600 秒的長查詢

在 Databricks Runtime 15.3 和以下版本中不支援 Databricks Connect。

  • ApplyinPandas() 及 Cogroup() 使用具有標準存取模式的計算功能

Databricks Connect 不適用於 Databricks Runtime 16.3 及更早版本：

  • 在無伺服器計算中，UDF 不能包含自定義連結庫。

無法使用：

  • dataframe.display() 應用程式介面
  • Databricks 公用程式：credentials、、librarynotebook workflow、widgets
  • Spark 上下文
  • RDDs
  • 使用 RDD、Spark 上下文或存取基礎 Spark JVM 的函式庫，例如 Mosaic 地理空間、GraphFrames 或 Great Expectations。
  • CREATE TABLE <table-name> AS SELECT （請改用 spark.sql("SELECT ...").write.saveAsTable("table")）
  • 更改 log4j 的日誌層級透過 SparkContext
  • 不支援分散式 ML 訓練。
  • 同步本機開發環境與遠端叢集
  • Last updated on